首页资源分类其它科学普及 > 机器视觉基础

机器视觉基础

已有 451617个资源

下载专区

上传者其他资源

    文档信息举报收藏

    标    签:三维从建多视几何相机标定

    分    享:

    文档简介

    机器视觉是图像处理的一种重要理论。它将人类肉眼看到的图片与计算机看到的0/1数字进行对应关系,其中包含有大量的算法原理,方便大家学习

    文档预览

    视觉基础介绍 吴毅红 中国科学院自动化研究所 模式识别国家重点实验室 http://www.nlpr.ia.ac.cn/English/rv/download.htm 主要内容 1. 计算机视觉的目标、任务;马尔视觉理 论计算框架 2. 演示:单幅图像测量;三维重建;结构光三维重建;场景 漫游 3. 景物的成像过程 4. 三维重建的目的、过程 5. 射影几何学简介 1. 计算机视觉的目标、任务;马尔视 觉理论计算框架 计算机视觉是研究用计算机来模拟人和生物的视觉系统功能 的技术学科. 它是一门综合性的学科,其中包括计算机科学和工程、信 号处理、物理学、应用数学和统计学,神经生理学和认知 科学等. 目标: 让计算机能够感知周围视觉世界,了解它的空间组成 和变化规律. 传感、抽象、判断、识别、理解 1. 计算机视觉的目标、任务;马尔视 觉理论计算框架 David Marr (1945-80)、马尔是 英国心理学家。 他将心理学,人工智能和神经生理学的结果结合起来,对视 觉的研究做出了重要贡献。他是计算视觉的奠基人。35岁, 患白血病去世。 D. Marr. Vision. Freeman and Company, Oxford, 1982. ‹该书概括了Marr从1973到1977年在MIT人工智能实验室 的研究工作。发表于1982。 ‹该书诣于建立一个研究视觉的新框架。 1. 计算机视觉的目标、任务;马尔视 觉理论计算框架 马尔视觉系统研究的三个层次: 计算理论层次、 表达与算法层次、 硬件实现层次 计算目的与计算 策略; 输入、输出 各模块的输入、输出和 内部的信息表达、以及 实现计算理论规定的目 标的算法 如何用硬件实 现以上算法 1. 计算机视觉的目标、任务;马尔视 觉理论计算框架 任务:马尔视觉信息处理的三个阶段: 图像低层处理 中层处理 空间表达与建模 高层分析 图像获取; 图像预处理包括图 像滤波、增强、矫 正 抽取图像的特征, 恢复其2.5维结构, 进行建模与表达 识别、分析、理解、 描述 1. 计算机视觉的目标、任务;马尔视 觉理论计算框架 马尔视觉理论特点: 没有考虑视觉中的选择性和整体性; 不确定和多义性; 计算量大 计算机视觉的应用: 工业自动化:工件的校验和质量控制;机器人导航; 机器人的工件获取和安放;测量 人机交互:人脸的检测、跟踪、识别、建模和动画;人体检测和跟踪; 手势识别;事件的检测和识别;视觉监控 2. 演示 • 单幅图像测量; DEMO • Automated 三维重建; DEMO • 结构光三维重建; DEMO 场景重建 • 场景漫游 DEMO DEMO DEMO DEMO DEMO 3. 景物的成像过程 针孔摄像机 X 摄 像 机 坐 标 O 系 Y 成像平面 M m Z 带镜头的摄像机:薄透镜;鱼眼镜头;反射镜面 反射折射镜 针孔相机 鱼眼镜头 坐标系 1、世界坐标系: X w ,Yw , Z w 2、摄像机坐标系:X c , Yc , Z c 3、图像坐标系: [u, v] [x, y] Xw Zw Ow Yw 世界坐标系 说明: 为了校正成像畸变 用理想图像坐标系 [X u ,Yu ] 和真实图像坐标系 [X d ,Yd ] 分别描述畸变前后的坐标关系 Xc x u v O1 图像坐标系 O 摄像机坐标系 Zc y Yc 摄像机光学成像过程的四个步骤 1、刚体变换公式 ⎡xc ⎤ ⎡xw ⎤ ⎢ ⎢ yc ⎥ ⎥ = R⎢⎢ yw ⎥ ⎥ + t ⎢⎣zc ⎥⎦ ⎢⎣zw ⎥⎦ 齐次坐标形式 ⎡xc ⎤ ⎢ ⎢ yc ⎢ ⎢ zc ⎥ ⎥ ⎥ ⎥ = ⎡R ⎢⎣0T3 ⎣1 ⎦ ⎡xw ⎤ t⎤ 1⎥⎦ ⎢ ⎢ ⎢ ⎢ yw xw ⎥ ⎥ ⎥ ⎥ ⎣1 ⎦ 世界坐标系 刚体变换 摄像机坐标系 透视投影 理想图像坐标系 畸变校正 真实图像坐标系 数字化图像 数字化图像坐标系 透视投影——透镜成像原理图 1 = 1 +1 f mn 一般地由于 n >> f 于是 m ≈ f 这时可 以将透镜成像模型近 似地用小孔模型代替 物体 B A BO C 图像 f=OB 为透镜的焦距 m=OC 为像距 n=AO 为物距 透视投影——小孔成像模型 xu =−f xc zc yu = − f yc zc Yu 写成齐次坐标形式为 ⎡xu ⎤ ⎡− f zc ⎢ ⎢ yu ⎥ ⎥ = ⎢ ⎢ 0 ⎢⎣1 ⎥⎦ ⎢⎣ 0 0 −f 0 0 0 1 0⎤ 0⎥⎥ 0⎥⎦ ⎡ xc ⎢ ⎢ yc ⎢ ⎢ zc ⎣1 ⎤ ⎥ ⎥ ⎥ ⎥ ⎦ m(xu , yu ) Yc o Xu Zc M (xc, yc, zc ) Xc 中心透视投影模型 xu = f xc zc Yc yu = f yc zc o 写成齐次坐标形式为 ⎡xu ⎤ ⎡ f zc ⎢ ⎢ yu ⎥ ⎥ = ⎢ ⎢ 0 ⎢⎣1 ⎥⎦ ⎢⎣ 0 0 f 0 0 0 1 0⎤ 0⎥⎥ 0⎥⎦ ⎡ xc ⎢ ⎢ yc ⎢ ⎢ zc ⎣1 ⎤ ⎥ ⎥ ⎥ ⎥ ⎦ f Xc Yu p (x u , y u ) O1 Xu M(xc, yc, zc ) Zc 畸变校正——径向和切向畸变 径向畸变 径向失真 离心畸变 薄透镜畸变 切向失真 Yu dr ( ) xd = xu + δ xu xu , yu ( ) yd = yu + δ yu xu , yu Ideal Position dt Position with distortion Xu dr :radial distortion dt :tangential distortion 畸变校正——其它畸变类型 a b a :barrel distortion b :pincushion distortion 桶形畸变a和枕形畸变b Xu 薄棱镜畸变 Axis of max Tangential distortion Yu Axis of min tangential distortion 图像数字化 O1在 u, v 中的坐标为(u0 , v0 ) V 像素在轴上的物理尺寸为dx, dy Yd Affine Transformation : u = u0 + xd dx − yd cotθ dx v = v0 + dy yd sinθ 齐次坐标形式: v0 θ C yd xd O1 θ Xd u0 U ⎡u⎤ ⎡ fu ⎢⎢v ⎥ ⎥ = ⎢ ⎢ 0 ⎢⎣1 ⎥⎦ ⎢⎣ 0 − fu cotθ fv / sinθ 0 u0 ⎤⎡xd ⎤ v0 ⎥ ⎥ ⎢ ⎢ yd ⎥ ⎥ 1 ⎥⎦⎢⎣1 ⎥⎦ 其中 fu = 1 dx , fv = 1 dy 线性摄像机成像模型 图像像素坐标系 图像物理坐标系 摄像机坐标系 世界坐标系 ⎡u⎤ ⎡ fu ⎢⎢v ⎥ ⎥ = ⎢ ⎢ 0 ⎢⎣1 ⎥⎦ ⎢⎣ 0 − fu cotθ fv / sinθ 0 u0 ⎤⎡x⎤ v0 ⎥ ⎥ ⎢ ⎢ y ⎥ ⎥ 1 ⎥⎦⎢⎣1 ⎥⎦ ⎡x⎤ ⎡ f ⎢ ⎢ y⎥⎥ ⎢⎣1 ⎥⎦ = 1 zc ⎢ ⎢ 0 ⎢⎣ 0 0 f 0 0 0 1 0⎤ 0⎥⎥ 0⎥⎦ ⎡ xc ⎢ ⎢ yc ⎢ ⎢ zc ⎣1 ⎤ ⎥ ⎥ ⎥ ⎥ ⎦ 最终得到: 图像像素坐标系 世界坐标系 ⎡xc ⎤ ⎢ ⎢ yc ⎢ ⎢ zc ⎥ ⎥ ⎥ ⎥ = ⎡R ⎢⎣0T3 ⎣1 ⎦ ⎡xw ⎤ t⎤ 1⎥⎦ ⎢ ⎢ ⎢ ⎢ yw xw ⎥ ⎥ ⎥ ⎥ ⎣1 ⎦ zc ⎡u⎤ ⎢⎢v ⎥ ⎥ ⎢⎣1 ⎥⎦ = ⎡ ffu − ffu cotθ u0 ⎤ ⎢ ⎢ 0 ffv / sinθ v0 ⎥ ⎥ ⎢⎣10444420444413⎥⎦ ⎡R ⎢⎣o3T K ⎡xw ⎤ t⎤ 1⎥⎦ ⎢ ⎢ ⎢ ⎢ yw zw ⎥ ⎥ ⎥ ⎥ ⎢⎣1 ⎥⎦ 这是忽略畸变的线性成像模型 4. 三维重建的目的、任务 三维重建是人类视觉的主要目的,也是计算机视觉的最 主要的研究方向. (Marr 1982) 所谓三维重建就是指从单幅图像加景物约束、二幅、二 幅以上图像恢复空间点三维坐标的过程。 成像平面 O 照相机的成像模型: ximi = K (R, t)Μ i 三维重建主要目的:从图像出发,求出所有的Mi 摄像机标定:从图像出发,求出内参数K 摄像机标定位或运动参数求解:从图像出发,求出运动参数R,t 三维重建的三个关键步骤 • 图像对应点的确定 • 摄像机标定 • 摄像机运动参数的确定 三维重建示意图 yw zw xw l m I e o M l' m′ I′ e' o′ R,T 因此,有必要研究图像之间约束,图像之间的几何 图像几何学 5. 射影几何学简介 为什么要学习射影几何? z 照相机的成像过程是一个射影变换(透视 或中心射影)的过程: 成像平面 X 摄 像 机 坐O 标 系 Y P p Z 常见的旋转和平移是欧氏变换,研究 在欧氏变换下保持不变的性质(欧氏 性质)的几何,是欧氏几何。比如长 度、角度、平行性等都是欧氏性质。 照相机的成像过程不保持欧氏性质 例如:平行线不再平行 无穷远元素 平行线交于一个无穷远点; 平行平面交于一条无穷远直线; z 在一条直线上只有唯一一个无穷远点. 所有的一组平行线共有一个无穷远点. 无穷远点 z 在一个平面上, 所有的无穷远点组成一条 直线, 称为这个平面的无穷远直线. 平行线 无穷远直线 z 3维空间中所有的无穷远点组成一个平面, 称为这个空间的无穷远平面. 平行线 平 行 平 面 和 直 线 无穷远平面 射影空间 对 n 维欧氏空间加入无穷远元素, 并对有 限元素和无穷远元素不加区分, 则它们共 同构成了 n 维射影空间. 1维射影空间是一条射影直线, 它由我们所看到 的欧氏直线和它的无穷点组成; 2维射影空间是一个射影平面, 它由我们所看到 的欧氏平面和它的无穷远直线组成; 3维射影空间由我们所在的空间与无穷远平面 组成. 齐次坐标 在欧氏空间中建立坐标系后, 便有了点与 坐标间的一一对应, 但当引入无穷点以后, 无穷远点无坐标, 为了刻化无穷远点的坐 标, 我们引入齐次坐标. 在 n 维空间中, 建立欧氏坐标后, 每一个 有限的点的坐标为 (m1 ,..., m n ) , 对任意 n+1 个数 x 1 ,..., x n , x 0 , 如果满足: x0 ≠ 0, x1 x0 = m 1 ,..., xn x0 = mn. 则 ( x1 ,..., x n , x 0 ) 被叫作这个点的齐次 坐标. 相对于齐次坐标 , (m1 ,..., m n ) 被称作非 齐次坐标. 不全为0的数 x 1 ,..., x n 组成的坐标 ( x1 ,..., xn ,0) 被称作无穷远点的齐次坐标. 例如: 在欧氏直线上的普通点的坐标为 x , 则适合 x1 / x0 = x 的两个数 x1, x0 组成的坐标 ( x1, x0 ) 为这个点的齐次坐标, x 为这个点的非齐 次坐标. 对任意的 x1 ≠ 0 , 则 (x1, 0) 为无穷远点的齐次坐标. 引入齐次坐标后, z 在二维平面上, 如果直线的方程为: a x1 + b x2 + c = 0 则直线的齐次方程为: a x1 + b x2 + c x0 = 0 无穷远直线的方程则为: x0 = 0 z 在三维空间中, 如果平面的方程为: a x1 + b x2 + c x3 + d = 0 则平面的齐次方程为: a x1 + b x2 + c x3 + d x0 = 0 无穷远平面的方程则为: x0 = 0 射影参数 对于 n 维空间中的任意一条直线, 如果 P1 , P2 是它上的任意两个取定的点, 则它 上的任意一个点 P 可以由 P1 , P2 线性生 成: X = c1 X 1 + c2 X 2 其中 X , X 1 , X 2 分别是 P , P1 , P2 的齐次坐 标, c1 , c 2 是两个不全为零的常数. 比例 c1 c2 被叫作 P 关于 P1 , P2 在这条直 线上的射影参数. 如果 c 2 = 0 , 则射影参数为 ∞ . 交比 对于共线的4个点 P1 , P2 , P3 , P4 , 比例: (θ 1 − θ 3 )(θ 2 − θ 4 ) (θ 2 − θ 3 )(θ 1 − θ 4 ) 被叫作 (P3, P4 ) 关于 (P1, P2 ) 的交比,记为 ( P1 , P2 ; P3 , P4 ) 其中 θ i 分别是 Pi , i = 1 .. 4 的射影参数。 z 定理:设四个不同的共线点中的三点及 其交比值为已知,则第四点必唯一确定。 射影变换 记 S n , S ' n 是两个由点组成的射影空间, T 是由 Sn 到 S ' n 的映射. 如果 T 保持: (i) 点和直线的结合关系. 比如: 点在直线上; 直线通过点; 等等. (ii) 共线的四个点的交比. 则 T 被叫作 n 维射影变换. z 两个射影空间 S n , S ' n 可以是同一个空间, 则 T 是同一个空间里的变换. z 点用齐次坐标表示, 则射影变换可用一个 (n+1)-(n+1) 的矩阵表示: ⎜⎛ x1' ⎜M ⎜ ⎜ x ' n ⎜⎝ x ' 0 ⎟⎞ ⎟ ⎟ ⎟ ⎟⎠ = ⎜⎛ t11 , K , t1( n +1) ⎜M O M ⎜ ⎝ t ( n +1)1 , K , t ( n +1)( n +1) ⎟⎞ ⎟ ⎟ ⎠ ⎜⎛ ⎜ ⎜ ⎜⎜⎝ x M x x 1 n 0 ⎟⎞ ⎟ ⎟ ⎟⎟⎠ ↓ ↓ ↓ P' T P z T 的行列式非零, 则它是一个非退化的 射影变换, 否则是个退化的射影变换. 例如: L L'是两条射影直线, 让 Pi 与 Pi' 对应, 其中 Pi 与 Pi' 的连线都交于一点, 则 这个映射是一个 1 维射影变换. (透视或 中心射影) L’ O B P3’ P2’ A P1’ P0 P1 P2 P3 L z 照相机的成像过程是一个从3维空间到2 维空间的退化的射影变换。 射影几何 射影几何是:研究射影空间中在射影变 换下保持不变的性质的几何学。 射影平面中的对偶 z “点”与“直线”叫作射影平面上的对偶元素。 z “过一点作一直线”与“在一直线上取一点” 叫作对偶作图。 z 在射影平面里设有点,直线及其相互结 合和顺序关系所组成的一个命题,将此 命题中的各元素改为它的对偶元素,各 作图改为它的对偶作图,其结果形成另 一个命题,这两个命题叫作平面对偶命 题。 z 对偶原则:在射影平面里,如果一个命 题成立,则它的对偶命题也成立。 z 例如: 命题:通过不同两点必有一直线。 对偶命题:两不同直线必有一交点。 z 共线的四个点有交比, 根据对偶, 共点的 四线也有交比. P1 P2 P3 P4 L4 L1 L2 L3 (P1, P2; P3, P4)=(L1, L2; L3, L4) 调和关系 如果点对 (P1, P2 ) 和 (P3 , P4 ) 的交比是-1, 即: (P1, P2; P3, P4 ) = −1 则称 (P1, P2 ) 与 (P3 , P4 ) 是调和的. 点对 (P1, P2 ) 与 (P3 , P4 ) 是调和的, 当且 仅当: (θ1 +θ2)(θ3 +θ4) = 2(θ1θ2 +θ3θ4) 其中 θ i 分别是 Pi , i = 1 .. 4 的射影参 数. z 一线段的中点为无穷远点关于这个线段 的两个端点的调和点。 z 因为调和关系是由交比定义的,所以它 是射影不变的。 z 例如:利用这种不变的调和关系,我们 可以求出无穷远点的像。无穷远点的像 可以用来对照相机进行标定。 成像平面 X 摄 像 机 坐O 标 系 Y P p Z 完全四点(线)形中的调和关系 z 由四个点(无三点共线)以及连结其中 任意两点的六条直线所组成的图形叫完 全四点形。 z 由四条直线(无三线共点)以及其中任 意两条直线的六个交点所组成的图形叫 完全四线形。 完全四点形: M C P4 F H E A P3 G P1 D P2 B P1, P2, P3, P4 是四个顶点,六条白线是三 对对边,三个红点 A, B, C 是对边点,三条 红线和三个红点组成对边三点形。 (CA, CB; CG, CE)= -1 (D, B; P2, P1)= -1 (A, B; G, E)= -1 (A, H; P3, P1)= -1 (F, B; P3, P4)= -1 (A, M; P2, P4)= -1 二次曲线 记射影平面上点的齐次坐标为 (x1, x2, x3) , 则满足一个二次方程, 即: 3 ∑ a ij x i x j = 0 i, j =1 ( a ij = a ji ) 的所有点的集合构成一条由 a ij 决定的 二次曲线, 其中至少有一个 a ij 非零. 在二次曲线的定义中的方程又可以写为: ( )⎜⎛ a11 a12 a13 ⎟⎞⎜⎛ x1 ⎟⎞ x1 x 2 x3 ⎜ a 21 a 22 a 23 ⎟⎜ x 2 ⎟ = 0 ⎜⎝ a31 a32 a33 ⎟⎠⎜⎝ x3 ⎟⎠ 矩阵 (aij) 是对称的, 它的秩在一个非退化 的射影变换下保持不变. 如果矩阵 (aij) 的行列式非零, 则这个二次 曲线非退化. 否则二次曲线退化为两条直 线, 或一条直线. 例如: 圆, 椭圆, 双曲线和抛物线都是非退 化的二次曲线. 二次曲线的对偶: z 射影平面上点与直线是对偶的,将二次 曲线的点元素换为线元素,则这些线的 包络为一个二次曲线。 z 二次曲线 X τ CX = 0 ( X 为点坐标) 的对偶为: Lτ C*L = 0 ( L 为线坐标) 其中 C * 为 C 的伴随矩阵。 互为对偶 点的轨迹 线的包络 绝对二次曲线 欧氏空间中, 无穷远平面上的二次曲线: x12 + x22 + x32 = 0, x0 = 0 称为绝对二次曲线. 它都由虚点构成, 任 何一个圆都与它交于一对虚共轭点(圆环 点). 绝对二次曲线的像与照相机的内参数紧 密相连. 假定照相机的内参数为: ⎡ f s u0 ⎤ K = ⎢⎢0 r f v 0 ⎥ ⎥ ⎢⎣0 0 1 ⎥⎦ 则绝对二次曲线的像是: Xτ K−τ K−1X = 0 反之, 如果绝对二次曲线的像已知, 则 K 可以被完全确定. z 如果圆环点的像已知,也可以对照相机 的内参数构成约束,通过解方程组来得 到内参数的值。 假定 m 是圆环点的像,则: mτ K−τ K−1m = 0 极点与极线 z 对于一个二次曲线 C 和某个点 A (向量), 由 L=C A 确定的直线(线坐标),称为 点 A 关于二次曲线 C 的极线。 z 当 A 在二次曲线 C 上时,点 A 的极线 为过它的切线。 z 对于一个二次曲线 C 和某条直线 L (向 量),由 A = C*L 确定的点,称为线 L 关 于二次曲线 C 的极点。 z 当 L 为二次曲线 C 的切线时,线 L 的 极点为它上的切点。 z 对极关系是射影不变的关系, 利用这个关 系我们可以对照相机进行标定. 例如: 在欧氏空间中, 一个圆的圆心是无 穷远直线关于这个圆的极点, 无穷远直线 是圆心关于这个圆的极线. 利用这种不变 的对极关系, 在照相机的像平面上, 可以 求出一对圆环点的像, 对照相机进行标定. 详见: 孟晓桥,胡占义,A new easy camera calibration technique based on circular points,Pattern Recognition,Vol. 36, No. 5, pp 1155-1164, 2003. 三维射影几何 z 点、直线、平面 z 二次曲面 z 扭三次曲线:与三维重建中的退化情况 紧密相连。 参考书目 z J. G. Semple, G. T. Kneebone, Algebraic Projective Geometry, Oxford University Press, 1952. z 梅向明, 刘增贤, 王汇淳, 王智秋, 高等几 何, 高等教育出版社, 1998.

    Top_arrow
    回到顶部
    EEWORLD下载中心所有资源均来自网友分享,如有侵权,请发送举报邮件到客服邮箱bbs_service@eeworld.com.cn 或通过站内短信息或QQ:273568022联系管理员 高进,我们会尽快处理。