首页资源分类其它科学普及 > 基于光照调整和特征曲线的全景图拼接

基于光照调整和特征曲线的全景图拼接

已有 445042个资源

下载专区

上传者其他资源

    文档信息举报收藏

    标    签:光照调整特征曲线全景图

    分    享:

    文档简介

     基于光照调整和特征曲线的全景图拼接

    文档预览

    2005 年 第1期 工程图学学报 JOURNAL OF ENGINEERING GRAPHICS 2005 No.1 基于光照调整和特征曲线的全景图拼接 肖 甫, 吴慧中, 肖 亮, 汤 杨 (南京理工大学计算机科学与技术系, 南京 210094) 摘 要:图像拼接是生成全景图的关键技术之一。针对传统图像拼接方法只能处理 光照一致图像的问题,笔者提出了一种对环境光照鲁棒的全景图拼接方法。该方法运用同态 滤波、特征点自动提取、特征曲线匹配等技术,有效地解决了图像拼接中的光照差、区域精 确匹配、噪声点及图像融合问题。实验表明对光照变化的图像采用该方法进行拼接可以获得 满意的视觉效果。 关 键 词:计算机应用;图像拼接;同态滤波;特征曲线 中图分类号:TP 391 文献标识码:A 文 章 编 号:1003-0158(2005)01-0035-04 全景图是近年来兴起的基于图像绘制技术 中的重要研究方向,其在虚拟环境、计算机视觉 以及多媒体领域得到广泛应用。获取全景图的方 法包括:① 利用广角镜头和扫帚相机获得[1],但 得到 360°的全景图比较困难且边缘会产生变形; ② 利用图像拼接技术将一系列有重叠区域的普 通图像进行无缝拼接,可以很好地解决广角镜的 不足,而图像拼接质量决定了全景图的视觉效 果。图像拼接根据相邻图像间重叠区域的相似性 进行,传统拼接算法主要分为两类:基于特征的 对准算法和基于相关的对准算法[2], [3]。前者从图 像的局部特征出发寻找最优匹配区域,受光照影 响其结果一般为局部最优解;后者最小化图像重 叠区域对应像素的差值,受光照变化的影响较 大,抗干扰能力差;因此亟待研究光照条件变化 的图像拼接算法。 笔者针对柱面全景图提出了基于光照调整 和特征曲线的拼接方法。通过同态滤波处理左右 图像,调整使其光照度基本一致,然后分别对调 整后的图像提取特征图像、分块选择特征点、建 立特征曲线。最后通过在右图像特征曲线序列中 搜索左图像特征曲线的最佳匹配部分,从而确定 左右图像的匹配位置。 1 柱面全景图的生成 照相机采集到的图像序列是在不同角度获 得的,不满足实际场景中的空间约束关系。如果 对原始图像序列直接进行拼合会破坏实际场景 的视觉一致性,因此,需要把原始图像投影到某 个标准的投影面上。柱面投影和球面投影以其构 造简单成为目前应用最多的标准投影面。 为了将图像投影到柱面空间上必须先知道 相机的像素焦距,文献[4]给出了在相机绕经过光 心的垂直轴旋转的前提下,从环视图像序列中恢 复相机像素焦距的算法。摄像机运动有很多自由 度,笔者只考虑固定视点摇镜头(pan)向四周拍摄 的情况。将相机固定在三角架上,绕通过其光心 的垂直轴旋转拍摄图像,并且保证相邻图像之间 有一定的重叠区域。在原始图像采集过程中相机 收稿日期:2004-05-10 基金项目:高等学校博士点专项基金资助项目(200288024) 作者简介:肖 甫(1980-),男,湖南邵阳人,博士研究生,主要研究领域为虚拟现实,图像仿真等。 ·36· 工程图学学报 2005 年 没有发生较大的俯仰和偏斜,所采集到的图像序 列之间主要是平移关系。通过圆柱面将图像坐标 (x, y) 映射到圆柱面坐标 (x′, y′)公式[5]为 x′ = f ⎡ ⎢ x − × arctg⎢ ⎢ f w⎤ 2 ⎥ ⎥ + ⎥ f × arctg⎜⎜⎝⎛ w 2f ⎟⎟⎠⎞ ⎢⎣ ⎥⎦ f ⎜⎛ y − H ⎟⎞ y′ = ⎝ 2 ⎠ + H ⎜⎛ x − w ⎟⎞2 + f 2 2 ⎝ 2⎠ 其中,W 和 H 分别对应图像的像素宽度和高度, f 为照相机的像素焦距。 2 图像光照处理 传统的图像拼接都假设待拼接图像拍摄时 光照条件没有变化,但这种假设有时并不满足。 当待拼接图像的光照度变化较大时,传统拼接方 法存在两个问题:首先,拼接算法依赖光照条件 从而影响拼接位置的精确计算;其次,全景图浏 览时光差变化较大,给人不真实的感觉。 同态滤波是一种频域的图像增强处理方法, 通常用于处理光照明不均的图像问题。在模型简 化的条件下图像可以看成是场景照明与目标表 面单元反射系数的乘积,即:G(x, y) = i(x, y) ⋅ r(x, y) 。 其 中 i(x, y) 是 场 景 光 照 度 , 且 0 < i(x, y ) < ∞ ; 而 r(x, y) 是 反 射 系 数 , 且 0 < r (x , y ) < 1 。首先建立对数函数图像,这 样乘法转变为加法,然后进行傅立叶变换,由于 场景照明度变化缓慢对应图像低频部分,而反射 系数变化剧烈对应高频部分,因此,可以使用滤 波器来修改低频部分或高频部分以增强图像。具 体流程为 G(x, y) S(x, y) Z(u, v) S(u, v) I(x, y) G ′ (x, y) ln FFT F (u, v) IFFT exp 实验中,通过调整照相机曝光系数来模拟光 照的变化。设 I1 和 I 2 为待拼接图像,其重叠区域 分别为 i1 ,i2 。受环境光照变化影响,i1 和 i2 中 对应像素点的像素值并不完全相同。为了实现图 像的无缝拼接,需要调整两图像的入射光。对 i1 和 i2 进行同态滤波计算环境光照度 s1和s2 。 i1 , i2 光照度与 I1 , I 2 的光照度对应。 选定 I 2 为标 准光照,对图像 I1 参照 s2 调整 s1 ,得到与 I 2 光 照 度 基 本 一 致 的 图 像 I1' , 其 中 滤 波 器 H (u, v) = 1 1 + [D(u, v) / D0 ]2n ,D0 = 2, n = 2。 移量不超过图像宽度的一半,而垂直偏移量也不 超过图像高度的十分之一。因此,只需在图像的 可能重叠区域内进行搜索而不必扩展到整个图 像空间。设左图像 I1' 待匹配模板为 T1 ,如图 1(a) 所示: T1 和 I1' 的水平中线一致,通过向上、向 下延伸 n 个像素;右图像 I 2 搜索区域为 S ,初始 匹配模板为 T2 ,如图 1(b)所示:S 和 I 2 的水平中 线一致,通过向上、向下延伸 3n 个像素,T2 和 I 2 的水平中线一致,通过向上、向下延伸 n 个像素, n 为图像高度的十分之一。 3 基于特征曲线的图像拼接 3.1 图像特征点的选取 图像的特征点不仅在灰度上有特点,而且在 集合位置上也有特点,一般为图像中的边缘点、 角点、拐点等。 通常两幅图像重叠区域水平偏 (a) (b) 图 1 图像匹配搜寻区域 类似[6]的方法选取特征图像 t(x, y) t(x, y) = min{A, B,C, D} (1) 第1期 肖 甫等:基于光照调整和特征曲线的全景图拼接 ·37· 其中 A = [ f (x, y) − f (x −1, y)]2 + [ f (x, y) − f (x + 1, y)]2 B = [ f (x, y) − f (x, y −1)]2 + [ f (x, y) − f (x, y + 1)]2 C = [ f (x, y) − f (x −1, y + 1)]2 + [ f (x, y) − f (x + 1, y −1)]2 D = [ f (x, y) − f (x −1, y −1)]2 + [ f (x, y) − f (x + 1, y + 1)]2 水平方向上将 T1 对应的特征图像划分成互 不重叠的小区域 W,在每个小区域中取值最大的 点作为特征点。为了实现图像的最佳匹配,在 S 对应的特征图像中对 T2 在水平和垂直两个方向 平移,得到不同偏移量下的对应匹配模板序列 T 及其特征点。 3.2 特征曲线及最佳匹配位置计算 以 W 的编号为横坐标,对应特征点的像素值 为纵坐标,即可得到图像匹配模板的特征曲线。 图像具有重叠区域,对应特征曲线的某一段具有 较好的相似性[7]。因此,图像重叠区域的确定就 转化为特征曲线的匹配。接下来的工作就是在搜 索区域 S 对应的特征曲线序列 T 中寻找一条 Tlike,使 T1 和 Tlike 中某段的相似程度是所有匹 配中最好的 ∑ ( ) L2 −L1 L1 2 Diff (T1 ,T ′) = min k =0 i =1 T1 (i) − T ′(i + k ) 其中, T ′ ∈ T , L1, L2 分别为 T1,T ′ 对应特征曲线 ∑ L2 − L1 的长度。Diff (T1 , T ′) = min k =0 L1 (T1 (i) 2 − i =1 L1 ∑ T ′(i + k)2 − 2T1 (i)T ′(i + k)) ,其中 T1 (i)2 为 i =1 L1 ∑ T1 对应特征曲线的能量,为常数; T ′(i + k)2 i =1 随着 k 的增长变化缓慢,为特征曲线 T ′ 中的一 段,其能量也可以视为常数,因此 Diff (T1,T ′) 对 应 T1 (i)T ′(i + k) 最大,定义归一化互相关函数[6] 为 Similarity(T1,T ′) = L2 −L1 max ∑L1 (T1 (i)T ′(i + k)) i =1 k =0 1 1 ∑ ∑ ⎜⎜⎝⎛ L1 i =1 T1 (i) 2 ⎟⎟⎠⎞ 2 ⎜⎜⎝⎛ L1 i =1 T ′(i + k)2 ⎟⎟⎠⎞ 2 特征曲线对应图像区域块的特征点,前面采 用式(1)计算特征图像可能包含噪声点,而计算重 叠区域时需同时考虑特征点邻域像素以消除噪 声 的 干 扰 。 逐 个 计 算 T′∈T , 当 Similarity(T1,T ′) 最大时, T ′ 即为 T1 的最佳匹 ( ) 配曲线 Tlike ,此时特征点 Tlike 1 + k 和 T1 (1) 相匹 配,由此确定图像的重叠区域。 4 实验结果及结论 图 2 显示了在不同环境光照条件下拍摄的两 幅图像,图 2(a)比图 2(b)要暗一些。通过同态滤 波调整图 2(a)的亮度,得到新的图像 3(a),图 3(a) 和图 2(b)对应点像素值基本相同。图 4(a)为对应 T1 的特征曲线,图 4(b)为T2 在 S 中某一偏移量下 的特征曲线。拼接的结果如图 3 (b)所示。图 5 为 对另外一组图片使用本文方法得到的全景图。 (a) (b) 图 2 不同光照条件下的待拼接图像 (a) (b) 图 3 调整光照后的图像(a)及拼接后图像(b) ·38· 工程图学学报 2005 年 (a) (b) 图 4 匹配模板对应的特征曲线 图 5 拼接全景图 实验表明笔者的算法是有效的。在调整环境 光照度时使用同态滤波,对图像低频部分调整很 好地实现了环境光照的一致;图像特征点定义为 特征图像中的最大值点,最后计算重叠区域时, 特征点邻域像素的考虑较好地克服了噪声点的 影响,这二者保证了算法鲁棒性。 参考文献 [1] Hartley R, Gupta R. Linear push broomcameras [A]. In: Proceedings of the 3rd European Conference on Computer Vision [C]. Stockholm, Sweden, 1994. 555~566. [2] Brown L G. A survey of image registration techniques [J]. ACM Computing Surveys, 1992, 24(4): 325~376. [3] Szeliski R, Shum H Y. Creating full view panoramic image mosaics and texture-mapped models [A]. In: Proc SIGGRAPH 97[C]. Los Angeles, California, 1997.251~258. [4] Kyung Ho Jang, Soon Ki Jung. Constructing cylindrical panoramic image using equidistant matching [J]. IEEE Electronics Letters, 1999, 35(20): 1715~1716. [5] 张茂军 , 虚拟现实系统[M]. 北京 : 科学出版社 , 2001. 126~127. [6] 高 文, 陈熙霖. 计算机视觉[M]. 北京: 清华大学 出版社, 1999. 65~72. [7] 封靖波, 苏志勋. 一种基于相似曲线的全景图自动 拼接算法[J]. 计算机学报, 2003, 26(11): 1605~1608. Panorama Mosaics Based on Illumination Alignment and Characteristic Curve Match XIAO Fu, WU Hui-zhong, XIAO Liang, TANG Yang (Department of Computer Science &Technology, Nanjing University of Science and Technology, Nanjing 210094, China) Abstract: Image mosaic is the key step for panorama, while existing algorithms focus on scenes with a same illumination. This paper presents a novel method for image mosaics with notable illumination difference. Using homomorphic filtering, feature points extraction and characteristic curves matching, our method gives a good solution for illumination difference, accurately match, noise points, etc problems in image mosaics. The results of experiment show that we can gain good visual effect by using this method in image mosaics with notable illumination difference. Key words: computer application; image mosaics; homomorphic filtering; characteristic curves

    Top_arrow
    回到顶部
    EEWORLD下载中心所有资源均来自网友分享,如有侵权,请发送举报邮件到客服邮箱bbs_service@eeworld.com.cn 或通过站内短信息或QQ:273568022联系管理员 高员外,我们会尽快处理。