2005 年
第1期
工 程 图 学 学 报
JOURNAL OF ENGINEERING GRAPHICS
2005
No.1
基于光照调整和特征曲线的全景图拼接
肖
甫， 吴慧中， 肖
亮， 汤 杨
南京
210094）
（南京理工大学计算机科学与技术系,
摘
要：图像拼接是生成全景图的关键技术之一。针对传统图像拼接方法只½处理
光照一致图像的问题，
笔者提出了一种对环境光照鲁棒的全景图拼接方法。该方法运用同态
滤波、特征点自动提取、特征曲线匹配等技术，有效地解决了图像拼接中的光照差、区域精
确匹配、噪声点及图像融合问题。实验表明对光照变化的图像采用该方法进行拼接可以获得
满意的视觉效果。
关 键 词：计算机应用；图像拼接；同态滤波；特征曲线
中图分类号：TP
391
文献标识码：A
文 章 编 号：1003-0158(2005)01-0035-04
全景图是近年来兴起的基于图像绘制技术
中的重要研究方向，其在虚拟环境、计算机视觉
以及多媒½领域得到广泛应用。获取全景图的方
法包括： 利用广角镜头和扫帚相机获得
[1]
，
①
½
得到
360°的全景图比较困难且边缘会产生变½；
② 利用图像拼接技术将一系列有重叠区域的普
通图像进行无缝拼接，可以很½地解决广角镜的
不足，而图像拼接质量决定了全景图的视觉效
果。图像拼接根据相邻图像间重叠区域的相似性
进行，传统拼接算法主要分为两类：基于特征的
对准算法和基于相关的对准算法
[2], [3]
。前者从图
像的局部特征出发寻找最优匹配区域，受光照½
响其结果一般为局部最优解；后者最小化图像重
叠区域对应像素的差值，受光照变化的½响较
大，抗干扰½力差；因此亟待研究光照条件变化
的图像拼接算法。
笔者针对柱面全景图提出了基于光照调整
和特征曲线的拼接方法。通过同态滤波处理左右
图像，调整½其光照度基本一致，然后分别对调
整后的图像提取特征图像、分块选择特征点、建
立特征曲线。最后通过在右图像特征曲线序列中
搜索左图像特征曲线的最½匹配部分，从而确定
左右图像的匹配½½。
1
柱面全景图的生成
照相机采集到的图像序列是在不同角度获
得的，不满足实际场景中的空间约束关系。如果
对原始图像序列直接进行拼合会破坏实际场景
的视觉一致性，因此，需要把原始图像投½到某
个标准的投½面上。柱面投½和球面投½以其构
造简单成为目前应用最多的标准投½面。
为了将图像投½到柱面空间上必须先知道
相机的像素焦距，
文献[4]给出了在相机绕经过光
心的垂直½旋½的前提下，从环视图像序列中恢
复相机像素焦距的算法。摄像机运动有很多自由
度，
笔者只考虑固定视点摇镜头(pan)向四周拍摄
的情况。将相机固定在三角架上，绕通过其光心
的垂直½旋½拍摄图像，并且保证相邻图像之间
有一定的重叠区域。在原始图像采集过程中相机
收稿日期：2004-05-10
基金项目：高等学校博士点专项基金资助项目（200288024）
½者简介：肖
甫（1980-）
，男，湖南邵阳人，博士研究生，主要研究领域为虚拟现实，图像仿真等。
·36·
工 程
图
学
学
报
2005 年
没有发生较大的俯仰和偏斜，所采集到的图像序
列之间主要是平移关系。通过圆柱面将图像坐标
(x,
y)
映射到圆柱面坐标
(x′,
y′)公式
[5]
为
w
⎤
⎡
x
− ⎥
⎢
2
+
f
×
arctg
⎛
w
⎜
x
′ =
f
×
arctg
⎢
⎥
⎜
2
f
⎝
⎢
f
⎥
⎢
⎥
⎣
⎦
其中，
W
和
H
分别对应图像的像素½度和高度，
f
为照相机的像素焦距。
⎞
⎟
⎟
⎠
y
′ =
H
⎞
⎛
f
⎜
y
− ⎟
2
⎠
⎝
w
⎞
⎛
⎜
x
− ⎟ +
f
2
⎠
⎝
2
2
+
H
2
通常用于处理光照明不均的图像问题。在模型简
化的条件下图像可以看成是场景照明与目标表
面单元反射系数的乘积，即：
G
(
x
,
y
)
=
i
(
x
,
y
)
⋅
2
图像光照处理
传统的图像拼接½假设待拼接图像拍摄时
光照条件没有变化，½这种假设有时并不满足。
½待拼接图像的光照度变化较大时，传统拼接方
法存在两个问题：首先，拼接算法依赖光照条件
从而½响拼接½½的精确计算；其次，全景图浏
览时光差变化较大，给人不真实的感觉。
同态滤波是一种频域的图像增强处理方法，
G(x, y)
ln
S(x, y)
Z(u, v)
FFT
F
(u,
v)
0
<
i
(
x
,
y
)
< ∞
； 而
r
(
x
,
y
)
是 反 射 系 数 ， 且
0
<
r
(
x
,
y
)
<
1
。首先建立对数½数图像，这
样乘法½变为加法，然后进行傅立叶变换，由于
场景照明度变化缓慢对应图像½频部分，而反射
系数变化剧烈对应高频部分，因此，可以½用滤
波器来修改½频部分或高频部分以增强图像。具
½流程为
r
(
x
,
y
)
。 其 中
i
(
x
,
y
)
是 场 景 光 照 度 ， 且
S(u, v)
IFFT
I(x, y)
exp
G
′
(x,
y)
实验中，通过调整照相机曝光系数来模拟光
照的变化。设
I
1
和
I
2
为待拼接图像，其重叠区域
分别为
i
1
，
i
2
。受环境光照变化½响，
i
1
和
i
2
中
对应像素点的像素值并不完全相同。为了实现图
像的无缝拼接，需要调整两图像的入射光。对
i
1
和
i
2
进行同态滤波计算环境光照度
s
1
和
s
2
。
i
1
，
移量不超过图像½度的一半，而垂直偏移量也不
超过图像高度的十分之一。因此，只需在图像的
可½重叠区域内进行搜索而不必扩展到整个图
像空间。设左图像
I
1
待匹配模板为
T
1
，如图
1(a)
所示：
T
1
和
I
1
的水平中线一致，通过向上、向
下延伸
n
个像素；
右图像
I
2
搜索区域为
S
，
初始
如图
1(b)所示：
S
和
I
2
的水平中
匹配模板为
T
2
，
线一致，
通过向上、
向下延伸
3n
个像素，
2
和
I
2
T
的水平中线一致，
通过向上、
向下延伸
n
个像素，
n
为图像高度的十分之一。
'
'
i
2
光照度与
I
1
，
I
2
的光照度对应。 选定
I
2
为标
准光照，对图像
I
1
参照
s
2
调整
s
1
，得到与
I
2
光
照 度 基 本 一 致 的 图 像
I
1
， 其 中 滤 波 器
'
H
(
u
,
v
)
=
1
，
D
0
=
2,
n
=
2
。
1
+
[
D
(
u
,
v
) /
D
0
]
2
n
3
基于特征曲线的图像拼接
(a)
(b)
图
1
图像匹配搜寻区域
图像特征点的选取
图像的特征点不仅在灰度上有特点，而且在
集合½½上也有特点，一般为图像中的边缘点、
角点、拐点等。 通常两幅图像重叠区域水平偏
3.1
类似
[6]
的方法选取特征图像
t
(
x
,
y
)
t
(
x
,
y
)
=
min
{
A
,
B
,
C
,
D
}
（1）
第1期
肖
甫等：基于光照调整和特征曲线的全景图拼接
·37·
其中
A
=
[
f
(
x
,
y
)
−
f
(
x
−
1,
y
)]
2
+
[
f
(
x
,
y
)
−
f
(
x
+
1,
y
)]
2
B
=
[
f
(
x
,
y
)
−
f
(
x
,
y
−
1)]
2
+
[
f
(
x
,
y
)
−
f
(
x
,
y
+
1)]
2
C
=
[
f
(
x
,
y
)
−
f
(
x
−
1,
y
+
1)]
2
+
[
f
(
x
,
y
)
−
f
(
x
+
1,
y
−
1)]
2
D
=
[
f
(
x
,
y
)
−
f
(
x
−
1,
y
−
1)]
2
+
[
f
(
x
,
y
)
−
f
(
x
+
1,
y
+
1)]
2
水平方向上将
T
1
对应的特征图像划分成互
在每个小区域中取值最大的
不重叠的小区域
W
，
点½为特征点。为了实现图像的最½匹配，在
S
对应的特征图像中对
T
2
在水平和垂直两个方向
平移，得到不同偏移量下的对应匹配模板序列
T
及其特征点。
3.2
特征曲线及最½匹配½½计算
以
W
的编号为横坐标，
对应特征点的像素值
为纵坐标，即可得到图像匹配模板的特征曲线。
图像具有重叠区域，对应特征曲线的某一段具有
较½的相似性
[7]
。因此，图像重叠区域的确定就
½化为特征曲线的匹配。接下来的工½就是在搜
索区域
S
对应的特征曲线序列
T
中寻找一条
T
like
，½
T
1
和
T
like
中某段的相似程度是所有匹
配中最½的
特征曲线对应图像区域块的特征点，前面采
用式(1)计算特征图像可½包含噪声点，
而计算重
叠区域时需同时考虑特征点邻域像素以消除噪
声 的 干 扰 。 逐 个 计 算
T
′ ∈
T
， ½
Similarity(
T
1
,
T
′
)
最大时，
T
′
即为
T
1
的最½匹
配曲线
T
like
，
此时特征点
T
like
(
1
+
k
)
和
T
1
(1)
相匹
配，由此确定图像的重叠区域。
4
实验结果及结论
图
2
显示了在不同环境光照条件下拍摄的两
幅图像，图
2(a)比图 2(b)要暗一些。通过同态滤
波调整图
2(a)的亮度，
得到新的图像
3(a)， 3(a)
图
和图
2(b)对应点像素值基本相同。
图
4(a)为对应
Diff (
T
1
,
T
′
)
=
min
∑
(
T
1
(
i
)
−
T
′
(
i
+
k
)
)
k
=
0
i
=
1
L
2
−
L
1
L
1
2
T
1
的特征曲线，
4(b)为
T
2
在
S
中某一偏移量下
图
的特征曲线。拼接的结果如图
3 (b)所示。图 5
为
对另外一组图片½用本文方法得到的全景图。
其中，
T
′ ∈
T
,
L
1
,
L
2
分别为
T
1
,
T
′
对应特征曲线
的长度。
Diff (
T
1
,
T
′
)
=
min
k
=
0
L
2
−
L
1
∑
(
T
i
=
1
L
1
i
=
1
L
1
1
(
i
)
2
−
T
′
(
i
+
k
)
−
2
T
1
(
i
)
T
′
(
i
+
k
))
，其中
∑
T
1
(
i
)
2
为
2
(a)
(b)
2
为常数；
∑
T
′
(
i
+
k
)
T
1
对应特征曲线的½量，
L
1
图
2
不同光照条件下的待拼接图像
随着
k
的增长变化缓慢，为特征曲线
T
′
中的一
段，
其½量也可以视为常数，
因此
Diff (
T
1
,
T
′
)
对
应
T
1
(
i
)
T
′
(
i
+
k
)
最大，
定义½一化互相关½数
[6]
为
i
=
1
Similarity(
T
1
,
T
′
)
=
L
2
−
L
1
(a)
∑
(
T
(
i
)
T
′
(
i
+
k
)
)
i
=
1
1
L
1
max
k
=
0
L
1
⎞
⎛
⎜
∑
T
1
(
i
)
2
⎟
⎟
⎜
⎠
⎝
i
=
1
1
2
⎞
⎛
⎜
∑
T
′
(
i
+
k
)
2
⎟
⎟
⎜
⎠
⎝
i
=
1
L
1
1
2
(b)
图
3
调整光照后的图像(a)及拼接后图像(b)
·38·
工
程
图
学
学
报
2005 年
(a)
图
4
匹配模板对应的特征曲线
(b)
图
5
拼接全景图
[J]. ACM Computing Surveys, 1992, 24(4): 325~376.
[3] Szeliski R, Shum H Y. Creating full view panoramic
image mosaics and texture-mapped models [A]. In:
Proc SIGGRAPH 97[C]. Los Angeles, California,
1997.251~258.
[4] Kyung Ho Jang, Soon Ki Jung. Constructing cylindrical
panoramic image using equidistant matching [J]. IEEE
Electronics Letters, 1999, 35(20): 1715~1716.
[5]
张茂军
,
虚拟现实系统[M]. 北京
:
科学出版社
,
2001. 126~127.
[6]
[7]
高
文, 陈熙霖. 计算机视觉[M]. 北京: 清华大学
出版社,
1999. 65~72.
封靖波, 苏志勋. 一种基于相似曲线的全景图自动
拼接算法[J]. 计算机学报,
2003, 26(11): 1605~1608.
实验表明笔者的算法是有效的。在调整环境
光照度时½用同态滤波，对图像½频部分调整很
½地实现了环境光照的一致；图像特征点定义为
特征图像中的最大值点，最后计算重叠区域时，
特征点邻域像素的考虑较½地克服了噪声点的
½响，这二者保证了算法鲁棒性。
参 考 文 献
[1] Hartley R, Gupta R. Linear push broomcameras [A].
In: Proceedings of the 3
rd
European Conference on
Computer Vision [C]. Stockholm, Sweden, 1994.
555~566.
[2] Brown L G. A survey of image registration techniques
Panorama Mosaics Based on Illumination Alignment and
Characteristic Curve Match
XIAO Fu,
WU Hui-zhong,
XIAO Liang,
TANG Yang
(Department of Computer Science &Technology, Nanjing University of Science and Technology, Nanjing 210094, China)
Abstract:
Image mosaic is the key step for panorama, while existing algorithms focus on scenes with a
same illumination. This paper presents a novel method for image mosaics with notable illumination
difference. Using homomorphic filtering, feature points extraction and characteristic curves matching, our
method gives a good solution for illumination difference, accurately match, noise points, etc problems in
image mosaics. The results of experiment show that we can gain good visual effect by using this method in
image mosaics with notable illumination difference.
Key words:
computer application; image mosaics; homomorphic filtering; characteristic curves
京公网安备 11010802033920号
Copyright © 2005-2024 EEWORLD.com.cn, Inc. All rights reserved
评论