首页资源分类嵌入式系统 > 7基于Kinect系统的场景建模与机器人自主导航

7基于Kinect系统的场景建模与机器人自主导航

已有 445476个资源

下载专区

上传者其他资源

    文档信息举报收藏

    标    签:导航

    分    享:

    文档简介

    基于Kinect系统的场景建模与机器人自主导航

    文档预览

    第34卷第5期 2012年9,r】 DOI:10.3724/SRJ.121 8.2012.00581 机器人 ROBOT Vbl.34.NO.5 Sep.,2012 基于Kinect系统的场景建模与机器人自主导航 杨东方1,2,王仕成1,刘华平2,刘志国1,孙富春2 (1.第二炮兵L徉大学,陕Ij_|;i弼安710025: 2.清华大学智能技术与系统国家重点蛮验’承.北京 100084) 摘要:本文分别基于微软Kinect系统的单目RGB摄像机以及深度距离受限的RGB—D像机,研究解决室内机 器人的6自由度定位问题.首先,存传统不完伞自由度估计的拭础上,提…了特征点参数的增量式模型以解决运动 尺度不确定性问题.该模型和以往的瞅几里得、逆深度参数化模型相比,不仅能够显著降低系统状态维数,『而口堵% 够保证系统状态的‘致可观测性;此外,基于增量式模型,根据Kinect系统巾采集的RGB图像和红外图像.实现了 对机器人6自由度的运动估计.最后,将Kinect系统采集得到的RGB图像和深度图像序列用J:瞅儿里得参数化模 ,弘和增量式参数化模型,对应的实验结果证明了本文所提的自主导航方法的有效性. 关键词:微软Kinect;室内机器人:自主导航;场景建模 中图分类号:TP391 文献标识码:A 文章编号:1002.0446(2012)一05—0581.09 Scene Modeling and Autonomous Navigation for Robots Based on Kinect System YANG Dongfang 1,2 WANG Shichen91,LIU Huapin92,LIU Zhigu01,SUN Fuchun2 (1.The SecondArtillery Engineering University,Xi’an 710025,China; 2.State Key Laboratory ofIntelligent Technology and Systems,Tsinghua University,Beqing 100084,China) Abstract:Monocular RGB camera and distance..1imited RGB..D camera with Microsofl Kinect system are respectively utilized to solve the 6DoF navigation problem for indoor robots.At first.based on the traditional partial—DoF pose estimation algorithms,an incremental parameterized model is proposed for feature-points’parameters,which is able tO solve the scale ambiguity problem.This model differs from Euclid and inverse depth parameterized models with the sharply reduced state— dimension and the consistent observability of system state.In addition.based on this proposed incremental parametefized model.the 6DoF motion iS estimated by the observed image—sequence that comes from the RGB camera or infrared camera. At the end of this paper,both the RGB and depth image sequences that sampled from the Kinect system are utilized in Euclid parameterized model and the incremental parameterized model.And the corresponding results validate the effectiveness of the proposed autonomous navigation approach. Keywords:Microsoft Kinect;indoor robot;autonomous navigation;scene modeling 1 引言(Introduction) 白卞导航是移动机器人领域中的关键问题之 一[1].近年来,随着机器人系统运算能力和图像处 理等相关技术的发展,人们越来越多地研究不依赖 于GPS系统的白丰导航技术,以应用于存在遮挡和 十扰等GPS导航系统无法应用的场合.在移动机器 人系统中,采用的导航传感器主要包括激光测距雷 达、惯性测量单元以及RGB视觉导航系统等M. 激光雷达是一种主动式测距方式,其在距离测 量、障碍检测上具有显著的优势,而且能够在一‘次 观测中检测到分布式的多目标信息,从而一度被广 泛应用于自主导航系统之中【4】.然而,激光雷达受 大气的光传输效应影响明显,会使其测量精度降低, 因而不能全天候工作.此外,2维雷达数据的易读 性差也是影响其应用的显著缺陷乳3维雷达能够 得到关于环境更加丰富的信息,但是其体积和价格 对于大多数机器人应用场合而言是难以接受的:惯 性导航作为一种纯自主的独立导航方式,应用广泛, 技术较为成熟.微惯性测量单元(MIMU)体积小、 重量轻、价格低廉,已经在许多自主导航系统之中 得到了广泛的应用【6].然而,其航位递推解算模式 使得其误差会难以避免地累积,而且无法通过对外 部环境的感知进行修正.和雷达、MIMU相比,RGB 视觉传感器能够获取更多关于周围环境的信息,易 于帮助人们对环境进行直接感官认知和理解.近年 来,其在自主机器人领域的应用也逐渐受到重视. 基金项}{:同家973计划资助项|J(2009CB724000,613121):l词家自然科学基金资助项F|(90820304,61075027,91120011) 通讯作扦:杨尔方,ydf09@mailstsinghua.edu.cn 收稿/录用/修川:2012-04—18/2012-07—20/2012-08—25 万方数据 582 机器人 迄今为止,对视觉导航的研究主要分为单目、 双目和组合导航三个主要方向.和多目视觉系统相 比,单目视觉系统不需要摄像机之间相对标定,且 不受摄像机安装误差的影响,价格便宜.而双目以 及多目视觉系统,由于其相互之问标定工艺复杂, 精度要求很高,因此造价昂贵。以Bumblebee2为例, 该物理系统主要由两个单目摄像机组成,然而由于 加工工艺的原因,其价格竟高达数万元.单目系统 结构简单,使用方便,人们对单目视觉在导航或者 同步定位和地图构建(SLAM)中的相关研究和应用 由来已久且长盛不衰r7_8】. 2相关工作(Related works) 一般而言,根据单目相机拍摄到的图像序列很 难恢复物体的深度信息,从而引起场景深度的尺度 模糊特性,这也是单目视觉系统实现6自由度导航 面临的最主要困难[9-10].直观上讲,为了解决摄像 机运动尺度模糊问题,需要获取场景特征的几何结 构信息或者摄像机的运动速度幅度信息….直到最 近,重复观测的视线差异被用于估计场景特征的深 度信息,称之为视差法.它和采用深度传感器辅助 的方法一道,成为近年来解决基于视觉传感器的全 自由度导航问题的两条丰要途径,下面分别予以介 绍. 2.1视差法单目视觉导航 众所周知,如果对于场景中的某一个静态特征 点持续、重复观测,那么随着本体位置的变化,观测 到的该特征点的像素坐标将会发生变化.如果摄像 机的内参数已知,那么根据特征点图像坐标的变化, 能够恢复出特征点在世界坐标中的位置,这也正是 视差法的基本原理.该方法中,需要对观测到的场 景特征进行参数化建模,并增广到导航系统状态方 程之中.常用的参数化模型是欧几里得XYZ坐标参 数化模型,该模型直接将特征点在世界坐标系中的 坐标增广至状态变量之中,从而实现场景特征的定 位估计.当场景特征距离摄像机光心较远,或视差 角iF:d,的时候,该模型将会引入较大的误差㈦:在 此基础上,Javier等人提出了逆深度特征参数化模 型,该模型能够很方便地处理远距离场景特征的定 位,但是当特征点处于本体运动方向前端且距离较 近的时候,该模型精度将显著下降[13j.除此以外, 七述两种参数化模型还存在两个明显的缺陷:系统 状态维数高且模型不完全可观测,这将严重影响其 在实际应用中的实时性和可行性.为此,本文提出 一种新的增量式深度参数化特征建模方法,和上述 两类参数化模型相比,该模型中系统状态的维数明 显降低,且能保证其一致可观测性. 2.2 RGB.D视觉导航 无论如何,和纯粹的单目视觉导航方案相比, 一种更为直接和有效解决场景深度模型问题的方法 是采用其他辅助深度传感器.如前所述,由于常规 深度传感器,如激光测距雷达等,在敏感信息易读 性等方面存在缺陷,深度相机成为场景深度信息测 量的重要手段【141.尤其是最近,微软Kinect深度相 机的出现,解决了Bumblebee2等深度相机中存在的 价格昂贵、体积大等实际困难[15],成为一种简单、 廉价、方便的深度相机实现途径.Kinect通过将一个 标准RGB摄像机和深度传感器相结合,能够得到关 于周围环境的3维特征信息[16】,关于Kinect系统的 详细介绍见文【17].Kinect系统的输出是一个分辨 率为640x480的RGB图像和红外深度图像.因此, 对于图像中的任意一点,都能得到其相应的颜色信 息和深度信息(由于Kinect中红外摄像机的深度敏 感距离有限制,深度图像难以完整呈现).在理想条 件下,其深度信息分辨率可达3 minil8】.由于Kinect 方便实用,近两年来,其在很多机器人领域研究中 被广泛采用,如机器人避障[14】、目标重构㈣、目标 跟踪删和姿态控制[21]等. 最近,在自主定位和地图构建等自主移动机器 人应用领域,Kinect也得到了广泛的关注.文[22] 中采用Kinect对室内机器人进行简化的2维定位, 并根据平面运动的特殊先验约束来减小定位误差; 文[23]仅仅依靠微型无人飞行器(MAV)上装载的 Kinect和板上计算单元,通过关键帧提取技术,减 小了板上计算单元的计算负担,实现了MAV的3维 导航,证明了Kinect用于小型、轻型机器人导航的 叮用性.Henry等人[241将Kinect系统用于室内场景 建模,通过机器人在室内的反复观测,得到室内场 景地图的收敛结果,从而减小视觉导航中由于航位 推算引起的误差累积. 和上述已有的方法不同,本文首先基于单同 RGB图像序列,建立视觉场景特征点的深度增量式 参数化模型,通过减小状态量维数,提高系统可观 测性,从而改善单目视觉导航的性能.在此基础上, 将Kinect中得到的深度数据作为上述深度增量式模 型中的观测量,以实现自运动估计滤波器的闭环结 构设计,从而增强模型对于环境扰动的鲁棒性.最 后,通过室内机器人实验,验证了所述模型的有效 性,并给出了引入深度传感器辅助后,在自主导航 性能方面体现出的优越性. 万方数据 第34卷第5期 杨东方等:基于Kinect系统的场景建模与机器人白丰导航 583 3问题描述(Problem formulations) 首先,对本文中将引用的变量和术语约定如下: w表示世界坐标系 Q表示k时刻的摄像机光心坐标系 &表示k时刻的图像坐标系 仃c(七)为G坐标系的xoy摄像机光心平面 珏(忌)为S≈坐标系的xoy图像平面 足曲为从a系到b系的方向余弦变换矩阵 口曲为从a系到b系的旋转四元数 k自为从a点到b点的位移矢量 y曲为从a系到b系的平移速度矢量,单位m/s ∞曲为从a系到b系的旋转角速度矢量,单位rad/s %比、V出、∞。k分别为k"V加∞曲在C系F的坐 标分量 3.1单目摄像机模型 摄像机模型将3维世界坐标系中的点特征转换 为图像坐标系中的2维坐标.根据针孔摄像机模型, 对于真实场景中的点P,其在图像坐标系和世界坐 标系中的投影分别为只和Pw,它们之问存在如下关 系: 1|酞0 1A0 {0 0 O Zc·ro,P,I= 0 1/dy VO 0 f 0 0 0 0 1 00 1 0 (1) 其中,Zc是r研只的z轴分量,(“o,vo)是摄像机的主 点偏置,出和曲分别是每一个像素在X轴和Y轴方 向上的物理尺寸,.厂是摄像机的焦距,Op O。和Oj 分别是摄像机光心坐标系、世界坐标系和图像坐标 系的坐标原点,ro,只是P点在摄像机光心坐标系下 的分量. 3.2单目位姿估计模型 3.2.1基于图像特征点匹配的位姿估计算法 单目摄像机的位姿估计问题是指根据摄像机在 离散采样时刻得到的图像序列,通过建立图像之间 的特征匹配和摄像机运动之间的约束关系,计算摄 像机的运动参数.通常摄像机的运动可以视为刚体 运动,因此,摄像机在两个任意时刻的位姿参数可 以通过一个旋转R和平移t来描述.为了保证唯一 性,通常规定旋转轴通过原点,且平移在旋转之后 进行.基于图像序列2维特征点匹配的位姿估计算 法一般包括多匹配点最小二乘法、本质矩阵特征值 分解法【25]、非线性迭代算法[26]以及基于摄像机先 验运动模型的滤波算法.其中最小二乘法、特征值 分解法和非线性迭代算法一般都是基于两幅图像之 问的极线方程: 耐T(E.rhi)=0 (2) 式中,E=t×R,魂和耐分别是空间同一个3维特 征点在第1幅图像和第2幅图像上的归一化3维坐 标,E是两幅图像对应的本质矩阵.最小二乘方法 和特征值分解方法虽然计算简单,但是其解析解受 噪声的影响很大,缺乏明确的物理意义,计算精度 较差,故本文不予讨论.最早的非线性迭代方法在 式(2)的基础上,通过构造F述Longuet-Higgins准 则米直接估计未知运动参数 n, 、2 L(R,f)=∑l觑,T(f×R·廓i)l (3) 。 i=1。 其中,n是匹配特征点个数.非线性迭代方法相对于 最小二乘法和特征值分解方法而言,能够明显提高 位姿计算的精度.但是,由于式(3)中所描述的优化 目标函数问题不是一个凸问题,因此,难以保证得 到位姿参数的全局最优解.通过增加关于摄像机运 动状态存在的约束关系,可以缩小优化搜索的范围, 从而提高位姿解算的精度,关于单目摄像机姿态和 运动方向的精确估计可以参考作者此前在文[27]中 的相关工作,本文不再赘述.由于针孔摄像机模型 固有的特点,利用极线约束求解摄像机速度时,存 在尺度模糊不确定性,为此,基于图像序列特征点 匹配的位姿估计算法是一种不完全自由度的位姿估 计方法. 3.2.2基于场景特征建模的自运动估计方法 (1)状态更新方程 为了解决单目视觉中存在的尺度不确定问题, 需要对场景特征建模并估计,该模型一般包括摄像 机本体的先验运动模型和场景特征的参数化模型. 如文[11]中所述,在未知运动环境下,通常采用常 值速度和常值角速度模型作为先验运动模型,而 摄像机运动状态x。定义为x。=『FWcw,qcw,ycww, ∞cⅥ,c 1,它们的定义见本章最前面的符号约定,其 状态更新方程如下: rwcw(k一1)+Vcww(k一1)△f qcw(七一1)×q(to∞,c(k一1)At) X。(艮)= ycww(七一1)+wy oJcwc(k一11+w∞ 其中,q(OOcwc(足一1)At)表示由旋转角速度矢量 OOcwc(k一1)定义的旋转四元数.线速度和角速度 万方数据 584 机器人 的不确定部分用高斯白噪声描述,分别为wy和w∞. 为了描述的方便,本文后续章节中,,w只w、rwcw(忌)、 qcw(足)、Vcww(k)、Vcwc(k)和∞cwc(k)分另0简记为 强、r(足)、q(k)、v(k)、V。(庀)和∞(足). 为了估计运动大小尺度信息,需要在系统全状 态中增加特征点有关的状态分量.通常用欧几里得 XYZ坐标来描述特征点毋[4]:xf=k Yi z1]1.此时, 自运动估计模型中的状态包括摄像机运动参数和所 有场景特征点两个部分:x=『X。Xil 1. (2)量测更新方程 一1般地,所有量测量均来自于所观测的特征点 匹配,可以直接根据摄像机模型观测到其在图像坐 标系中的像素坐标. 归”髓J||;jgtx ㈣ 标系的运动幅度即可.因此,在增量式参数化模型 中,仅用其深度磊(足]来描述每个特征点.对特征 点只,其在摄像机光心坐标系中的深度乙(七)口r以 视为其到摄像机光心平面Ⅱc(七)的垂直距离,而它 的变化完全由摄像机光心平面的运动决定(如果没 有特殊说明,这里说的特征点都是世界坐标系F的 静态特征点).由于某平面的任意运动过程都能够 分解为一个平移和旋转,为了保证运动描述的唯一 性,这里假设旋转轴经过某4个固定点(这里假设 该点为摄像机光心).特别地,如图1所示,从k一1 时刻的摄像机光心平面到k时刻摄像机光心平面 的运动可以分解为:首先//cfk一1)平面经过平移 得到某一平面成(忌),然后再由r?c(七)经过绕摄像 机光心的旋转运动,得到仃c(七),其中皿f七一1)和 疗c(足)相互平行,最是P点到玎c(k)平面的垂足,即 有:P最上仃c(足),PPkJ-/-/c(k),V足=1,2,…,Ⅳ. 其中,I h。h,h:是特征点P在摄像机光心坐标系 下的投影.容易发现,这两种参数化模型都存在状 态维数过大的问题,尤其是当系统状态包含特征点 数目较多的情况下,模型状态维数问题将会凸现出 来【12];另外,这两种模型的可观测性问题也是影响 状态估计精度的重要冈素,后向将对这两种模型的 不可观测性进行论述.本文针对已有参数化模型中 存在的问题,提出了一种新的参数化模型.在该模 型中,特征点由其在摄像机光心坐标系中的深度所 描述,并从状态维数和模型可观测性两个方面和前 述参数化模型进行对比分析.由于在该模型中特征 点深度以及相应的观测量是根据其上一时刻的深度 和观测量增量式地得到的,为此,将该模型称为“增 量式深度参数化模型”. 4增量式深度参数化模型(Incremental deoth parameterized model) 本节在前述不完全自由度位姿估计算法的基础 上,通过对场景特征的深度信息进行参数化建模, 弥补前述算法的运动尺度不确定性,从而得到6自 由度运动参数结果. 4.1状态方程 如前所述,关于摄像机姿态和运动方向的估计 方法,已经比较完善,而为了解决单目视觉导航中 运动尺度不确定性问题,需要对场景特征建立参 数化模型,以往~‘般采用3维欧氏矢量或6维逆 深度矢量.实际上,在已有不完全自由度位姿估计 的结果上,只需要估计出摄像机沿摄像机光心坐 Fig.1 图1特征点增量式参数化模型 Incremental parameterized model of feature point 从图1容易得到: l磊”毒=|1赢忡兹 (5) G忍一1+G一1G=G 1最一1 f6) 图2针孔/透视摄像机模型 Fig.2 Pinhole/perspective camera model 万方数据 第34卷第5期 杨东方等:基于Kinect系统的场景建模与机器人自主导航 585 根据图2所示的针孔摄像机投影模型,有 蕊=Z了k‰-----+V足 (7) 4.2增量式量测方程 根据式(1)中所描述的投影模型,在相邻时刻 的特征点只的深度可以描述为 将式(7)代入式(5),可得: Zf(忌)·州七)=RwG·(%一r(七)) (13) (1+学卜㈣■㈣ zj(忌~1)‘li(k一1)=RwG.·(r只一r(k—1)) (14) 其中,五(七)是k时刻特征点忍的齐次像素坐标,厂化) 表示k时刻摄像机位置G在世界坐标系中的坐标 其中,Oi是图像坐标系的中心,厶是足时刻P点的 rwc。w,根据方向余弦矩阵的递推公式,有RwG= 维向量硪记为图像坐标ti(k).蕊即为位移 成像,厂是摄像机焦距,可以将图像坐标系中的2 RQ lCk·RwQ√ 用式(13)减去Ro一.G倍式(14),有 矢量,其在摄像机坐标系中的坐标等于Vcf七一1)At, 因此有: y。(七一1)13At=最~1晟 (9) Re,Q·(zf(七一1)·t(足~1))=zj(七).j。(七)+V。(足)△f (151 R瓯,G表示相邻帧图像所描述的摄像机姿态变化方 其中,x13表示向量x的第3个元素,即有 向余弦矩阵,它可以由已有的位姿估计算法[26】或 乙=乙一1一V。(忌一1)13At 由作者此前提出的优化估计算法[27]得到更为准确 (10) 的结果.假设并(足)=五(足一1)·RG。G·五@一1),其 将式(6)在仃c(足一1)平面上投影,可以得到 —刁——————_ c!R=c!一1最一l—y。@一1)ll,2At (11) 工忆表示由向量戈的第1个元素和第2个元素组成 的列向量. 可以视为k时刻和特征点深度相关的观测量.另外, 由前述不完全自由度位姿估计算法得到的角速度和 运动方向同样能够作为观测量,其对应的观测方程 为 川”勰Ⅳ (16) 综合式(8)、(10)和(11),则只在k时刻的深度 ),∞(足)=∞(|i})+',∞ (17) 五(忌)可以用如下函数描述: 式中的1,y、俨以及将要提及的伊是相应的测量噪 Zi(k)=^。pth(x(足~1)) 声.此时,观测方程能够写为 y =志卜y乩∽2+I 1i-V。h:△们2一c聃V= IIVll: 国 1,’, + V∞ (18) 其中,Ii(k)是特征点只的图像坐标,Rwq, 是和口w。。相对应的方向余弦矩阵,K(足)= V/-+学,V。(k-1)=Rw。,V(k-1川呲全 zi·lt+v c缸 伊 从上述模型容易得出,其状态维数从传统参数 化模型的13+6×N或13+3×Ⅳ维降低到了10+N 维,Ⅳ是匹配特征点的个数. 状态方程x(忌)=f(X女1)能够归纳如F: x(k) 垡(五=) 1,。(足) ∞f足1 磊f纠 g(七一1)×q(co(k一1)At) y。(.(=一1)+w矿 ∞(足一1)+i,V∞ 5可观测性分析(Observability analysis) 系统可观测性是状态估计领域中的一个重要问 题,它为系统状态估计的准确性提供了一种直观的 理解方式.对于单目摄像机的自运动估计这类强非 线性模型而言,直接进行町观测性分析是很困难的. 因此,为了进行有效的可观测性分析,需要将其转 化为时变线性系统.在当前估计状态处,用一阶泰 勒展开进行线性化如下: (12) AF 10f(rX)lx:&. (19) ^。pch(Xk一1) Q=1ag(rX)b唯一。 (20) 万方数据 586 机器人 2012年9月 此时,可以将状态更新和量测更新过程过程描 述如下: AX(k)=Akz垅(k一1) (21) △y(七)=CkAX(k~1) (22) 其中,赵(七)和ay(足)是泰勒展开点处的状态扰动和 观测扰动.如文[28]所述,时变系统经历/个时刻后 的可观测性分析建立在其总体可观测性矩阵(total observability matrix,TOM)Q(.『)上,该矩阵构造如 下: 的,_l蛊l ∞, 【岛eAr∞川…eA∞-j 龟=【c7l(CiAi)T卜(cfA7。1)1 11,1≤i≤,,是 可观测性判别矩阵,△i是时间间隔.正如文[28]指 出的一样,如果 N(Qi)c N(Ai),Vi (24) 那么可以用退化可观测性矩阵(stripped observabil— ity matrix,SOM)代替TOM进行可观测性判断,其 中SOM可以简记如下: s(J)=[Q。釜:...QJ]T (25) 在前述的增量式深度参数化模型中,式(21)和 (22)中的系数矩阵为 14。4+iI。t2¨】 妈 Fl(qk一1) 粥 03×4 妈 03×3 蝎 03×4 13×3 01×3 ‰‰涩百妈蛐一y 0l×3 m仉m弛1蝎埘一z 。一尊y 。。 Ck= 0 0 13。3 0 03。3 At·13。3 0如 其中, g 11=At 0 一蛾一toy一皑 蛾0 皑 一咄 妣一皑0 tog 蛾 妣 一蛾0 Fl(q≈一1)= 一q1 -q2 -q3 qo 一93 q2 q3 qo 一q1 -q2 q1 qo 式中,旋转四元数q=l qo,ql,q2,q3 1. 此时,过程模型矩阵Ak和G满足式(24),即 可以用SOM进行集约可观测性判定.从系统矩阵 A≈和Ck的矩阵元素形式叮以看出,本体的运动动 态程度对可观测性矩阵的秩有直接影响:本体运动 动态越明显,SOM矩阵的秩可能会越高,这也和 单目SLAM中可观测性分析的结论一致129-30].为 了验证本文所述模型在微弱动态条件下的可观测 性,假设摄像机运动参数为:qf0=[1,0,0,o]T, y幻=[0,0,1]T,‰=[0,0,o]T,此吼RT(鼋)= 氐,,霉:….蚴…黜删量 很少的情况下,只能观测到一个特征点,且该特征 点在G系的Z轴上,此时SOM矩阵的秩为1 1维, 等于对应的系统状态维数,即式(21)~(22)所描述 的线性化系统是处处可观的.根据文[31】结论,将 非线性系统在某状态进行泰勒展开线性化,如果线 性化后的系统是可观测的,那么该非线性系统本身 在该点也是可观测的,这也证明了特征点深度参数 化非线性模型的一致可观测性. 同样地,通过对欧几里得参数化模型进行可观 测性分析,可以发现其对应的泰勒展开线性化模型 的处处可观性是不能保证的,例如,取和增量式模 型中相同的动态条件和观测信息的时候,该非线性 参数化模型对应的线性近似模型中系统矩阵取值为 钆 = 嗽 :。 广● ● ● ● ● L 帅蛳引一灯灯1 G = ,rl【 a 0一、J × 6 A12 09×6 A12= 岔0 0 0 0 0 O出 O 0 0 0 0 0出 0 O O 000 0 0 0 0 0 0 050 0 0 0OO 0 050 0 000 0 0 05 万方数据 第34卷筇5划 杨东方‘等:琏j:Kinect系统的场景建模’j机器人f|1i甘帆 ● l—16.5 0 16.5 0 3312-6625 3312 cI=l 0 —16.5 16.5 0 6613-3306-3306l 耻[1溅0016羔.15 6:一 5.5] U_匕f1寸系统i,J州也}!J10‘II-少0刖矢n15乍的秋为4,iflj;ll:时 系统状态维数为16,即该系统知邛车刘应的线·陀定常 系统模型足不IIJ‘观ibl0的,巳¨便能够观测到多个特征 点,例如10个,其刈‘应的f1T观测。盹判别矩I;;,Ii的秩为 22,m此时系统状态维数为43,这充分说明了陔仆 线-陀参数化模型的‘‘敛|IJ‘观测·陀足尤法保证的. 6实验(Experiments) 6.1实验细节 实验小,I:系统利室验环境如I划3所/J:.本文采 JfJ SIFT特征点进行RGB图像序列之问的匹眦.为 J’剔除p‘配过程-…l 5现的误匹眦特征ti,采川较为 成熟H.被广泛使』IJ的随机‘致·陀采样(RANSAC) 方‘法实脱鲁棒特征li匹眦.艰J:图像』卜列的特征点 匹刚,采用义[27】·II的优化算法进行擞像机姿态估 汁,然后将其作为模型(13)和(20)tft的姿态变化和 迷度力‘向相关量测信息,在图3 ttI描述的。11载激光 雷达和声纳用j二场景地图的构建和导航避障,整个 实验过程中自丰小车的运动轨迹如图3中蓝色轨迹 所示.另外,将观测到的特征点^蝰标列入了系统状 态疑,由于视场研:境的变化,相应的特征点也会发牛 改变,住特征,_的选择过程IfI,随着新特征点进入 卜I一2 8t,—叫 搬像机视野,fail']会逐步替代从视野中消失的Itt特 征点.摄像机采样频率为20帧/秒. 6.2实验结果 实验采用Kinect rll f{带的甲.H搬像机和深度41l 机,分j】0采用传统的1)《i=儿里得参数化化姿估计模州、 分步』I=特征点深度参数化模型以及RGB.D深度参 数化模型进行6自一f嫂位姿估计. 为了对I..述3种方法的姿态仆计精度进行对 比,汀先进{J:原地旋转实验,控制小1i原地旋转 90。,通过旋转过程巾采集至0的RGB和RGB.D图像 序列,分别进i]:实H’j姿态解算,计钟:结果如图4和 I刘5 J听示. 霎一01 摄~2 蒌。-3 增量式模型(RGB) ——增最武模型(RGB.D) 耋o—墨嚣—————=焉俑 疆 、“一-一…。. 爹勺煨训川 褥一2 ”…”“…...…、.. 醚 ’●‘ ●-●。。 “。”、、、、、、。…...、一-4 O 50 100 150 200 250 300 网像序列/帧 图4小下俯仰角_;fll滚动角仙汁结果刈比 Fig.4 Estimation of yaw and roll angle 90 80 70 60 霎50 妊30 篓40 20 10 0 姘童子J冬{ O 30 60 90 120 150 180 210 240 270 图像序列/帧 图5小车力‘他ffj估计结粜对比 Fig.5 Estimation of azimuth angle 此外,为了对视觉定位精度进行对比,按照图 3中所示轨迹进行一组室内自主导航实验,为了对 算法精度进行对比分析,。丈验中采用由小车本身捉 供的甫达量测信息作为真实的参考轨迹.首先基j二 Kinect的RGB图像序列,采用传统的欧几里得XYZ 万方数据 588 机器 人 2012 fr 9 Jj 参数化模型年¨增呲)-J八x参数化模,弘进行对比实验,然 J^丛r Kinect的RGB.D图像睁列,得到实验小,Ii 定,?/,.}-上11果,如图6所1÷. 5000 4000 要3000 恹2000 套 0 ——:11::’、一、….r R(J}{I) 一10000 —8000 -6000 -4000 2000 一1000 0 朝两力‘向/mm 斟6小1i定化fI Ji汁结粜刈比 Fig.6 Estimation of robot’s location 1.述实验结粜农【1JJ,通过埘特征点进行反复观 测,能够f竹助j:视荠的差异,得到甲.}I摄像机I’i运 动的运动Jt度信,q、,牛H对Ji传统的XYZ 1)《欠儿‘l!得参 数化模型,增篮』℃参数化模州n:n J.脱测性利模州维 数I:都具自‘I|Jj 512的优势,基于陔|Jr观测模,弘的滤波 估计精度能够f!j到u』』显的改蜉.对J:增最j=℃模J㈣tI ff勺运动速度Ⅲ。j‘,刈重复可舭测的特征点建●:参数 化模型,能够有效解决甲.【二l视’址,VotII广泛存祚的运动 Jt度模糊|’uJ题,我们认为这也址…丁.所建、、,:的模,弘 是完伞可舭洲n勺结果.此外,通过引入Kinect系统 rf、容易换取的场景特征深J坚信息,刈‘场景特征ti深 度增晕:式模,弘进{J:完善,z|J匕-.t‘够得到史…准确的搬像 机自运动参数估计结果.本文所涉及的实现代“屿利 演卅÷祧频将会公布仆作者I叫站I... 托实验帑地…较为甲m的情曲d卜J,理想fn{Jf:f仰 角和滚动角J遁陔保持存零f寸附近,然而,从I冬I 4和 图5“丁以看…,…丁.位姿递推汁算的过程足一个航 化推算过程,冈此,小I】J+避免地仔存姿态计算祟移{ 误荠,从图6可以看}{{,’小乍运动10m序有的距 离时,将会引入_人约0.5 m的定位洪差.纯粹的特征 点参数化模,弘L尤法对姿态累平j:漩夕l进行修币.九沦 虫lI何,姿态跌芘和定位误差将会随着时fnJ的增JJUm 平J{岽,该问题的解决需要诉诸于其它参考导航敏感 器的纰合,或存‘采JH环闭检测,}『Ij除导航误雄长时 间移{祟,这也是我们卜一步将叟铆f究的问题. 7结论(Conclusions) 常规的单11摄像机位姿f占计算法存rf:1讧移刻度 冈子的/fi确定·陀,I大I此需要刈‘特征点建咿参数化模 型, ’般|,f勺瞅儿In得参数化和逆深度模型j}仃维数 过r_、IJJ‘观测性无法f泶hI:的缺陷,小义所捉…的增 毓』弋参数化模J弘通过刈+特征ti的深』曼俯息进j J:参数 化,能够任爆t,J1能降低状态维数的l州时,确保系统 状态IJ|勺’敛可观测‘陀,从而。史脱t丫L}』摄像机6维f_ 姿似汁结果的收敛。陀. 尤论如何,tti】.I、fI.1_j视觉这类Jj凡化递推导航力‘ 式一i¨J+避免地仃以:误芹干J{祟,使得·¨{苄!l!.觉I|1.烈讣 n,J长j{JJ·陀能尤法保证,1人I此,住K时M视觉导航iIi, 其他辅助方』℃_j嘤被tjl入到午一I『ff芝l’|1i导航系统之 iIi.我们后续将舀:增}建式参数化模型的J。《础1.,刈 视觉/j r.达/惯。陀等组合导航系统进行fi)1=究,以挺升 午V能I 7l土导航系统的K时flIJ导航一陀能. 参考文献(References) l l J Cox I J.Blanche—An experiment in guidance and navigation of an autonomous robot vehicle[J1.IEEE Transactions on Robotics and Automation.1991.7(2):193.204. 【2l Wijesoma W S,Kodagoda K R S.Balasuriya A P-A laser and a canlera for mobile robot navigationlCl//7th International Con. ierence on Contr01.Automation.Robotics and Vision.Piscat. awav’NJ,USA:IEEE,2002:740—745. 131 Dedieu D,Cadenat v.Soueres E Mixed camera.1aser based contr01 for mobile robot navigation[Cl//IEEE/RSJ International Conference on Intelligent Robots and Systems.Piscataway.NJ. USA:IEEE.2000:108I—1086. 【4】 Vandapel N,Moorehead S J.Whittaker W.et a1.Preliminary results on the use of stereo.color cameras and laser sensors in AntarcticalC】/,6th International Symposium on Experimen— tal Robotics.Berlin.Germany:Springer.Verlag.1 999:l一6. 151 Reina G,Underwood J,Brooker G,et a1.Radar-based per- ception for autonomous outdoor vehicleslJ 1.Journal of Field Robotics,20Il,28(6):894。913. 16l Morales Y’Carballo A,Takeuchi E.et a1.Autonomous robot navigation in outdoor cluttered pedestrian walkwayslJI.Journal of Field Robotics.2009.26(8):609.633. 【7】 Schill Fl Mahony R,Corke E Estimating ego—motion in panoramic image sequences with inertial measurementsl M lII Springer Tracts ifl Advanced Robotics.v01.70.Berlin.Ger- many:Springer-Verlag.20 ll:87.1 0 I. 8l Davison A J.Molton N D,Reid l D,ef a1.MonoSLAM:Real. time single camera SLAMtJl.IEEE Transactions on Pattern Analysis and Machine Intelligence.2()07,29(6):l 052.1 067. f91 Yamaguchi K,Kato T'Ninomiya Y Vehicle ego—motion esti- mation and moving object detection using a monocular cam. eraICl//18th International Conference on Pattern Recognition. Piscataway,NJ,USA:lEEE.2006:610-613. Il 01 Fraundorfer F'Scaramuzza D,Pollefeys M.A constricted bun- die adjustment parameterization for relative scale estimation jn visual odometryIJl.IEEE International Conference on Robotics and Automation.Piscataway,NJ,USA:IEEE,20 l O:l 899. ¨1 1 1904. Davison A J.Real—time simultaneous localisation and mapping with a single cameralC]//9th IEEE International Conference on Computer Vision.Piscataway,NJ,USA:IEEE,2003:1403- 1410. 万方数据 第34卷第5期 杨东方等:基于Kinect系统的场景建模与机器人自主导航 589 [1 2]Civera J.Real—time EKF-based structure from motion[D】. [1 31 Spain:Zaragoza University,2009:37—45. Zhao L,Huang S D,Yah L,et al。Parallax angle parametrization for monocular SLAM『C1//iEEE International Conference on Robotics and Automation.Piscataway,NJ,USA:IEEE,201 l: 31 17—3124. [1 41 Cunha J,Pedrosa E,Cruz C.Using a depth camera for indoor robot localization and navigation[Z/OL].[201 l一12—101.http:// WWW.CS.washington.edu/ai/Mobile—Robotics/rgbd—workshop一 [1 51 201 1/camera—ready/cunha.rgbdl卜localization.pdf. Koku B。Comparison of Kinect and Bumblebee2 in indoor en— vironments[C/OL]fll 2th International Workshop on Research and Education in Mechatronics.f20l 1—10.16].http://metu. academia.edu/ABugraKoku/Papers/1242418/Comparison_of_ Kinect—,and—Bumblebee2—.inAndoor—Environments. 【16]Kamel Boulos M N,Blanchard B J,Walker C,et a1.W曲GIS in practice X:A Microsoft Kinect natura】user interface for Google Earth navigation[J].International Journal of Health Geograph— ics,201 l。10(45):l-14. 【17】Microsoft Kinect Teardown(iFixit,4 November 2010).【2011一 l 1-29].http://www.ifixit.com/Teardown/Microsoft—Kinect—Tear down/4066/1. f 1 81 Michal T Peter H.The Kinect sensor in robotics education [Z/OL].[2012—02—161.http://www.innoc.at/fileadmin/user_up load/—.temp_/RiE/Proceedings/69.pdf. [1 9]Um D,Ryu D,Kal M,et a1.Multiple intensity differentiation for 3-D surface reconstruction with mono—vision infrared proxim— ity array sensor[J】.IEEE Sensors Journal,201 1,11(12):3352— 3358. f201 Noel R R,Salekin A,Islam R.A natural user interface class— room based on Kinect[J].IEEE Learning Technology,201 l, 13(4):59—61. [21】Stowers J,Hayes M,Bainbridge—Smith A.Altitude control of a quadrotor helicopter using depth map from Microsoft Kinect sensor[C]ffIEEE International Confefence on Mecha- tronics,Piscataway.NJ,USA:IEEE,201 1:358,362. [22]Biswas J,Veloso M.Depth camera based localization and navigation for indoor mobile robots[z/OL】.[2012—02—19]. http:/1www.cs.cmu.edu/一mmv/papers/1 lrssw-KinectLocali zation.pdf. [23]Huang A,Bachrach A,Henry P'et a1.Visual odometry and map— ping for autonomous flight using an RGB—D camera[A/OL]. 【2012—05—031.http://www.isrr-201 1.org/ISRR一201 1//Program— files/Papers/Huang.ISRR一201 1.pdf. [24]Henry P’Krainin M,Herbst E,et a1.RGB—D mapping: Using depth cameras for dense 3D modeling of indoor environments[A/OL],【2012—04-221.http:/lml.cs.washington. edu/www/media/papers/tmpl9iodL.pdf. [25]吴福朝.计算机视觉中的数学方法[M】.北京:科学出版 社,2008:213—218. Wu F C.Mathematical methods in computer vision[M].Beijing: Science Press,2008:213-218. [26]Mclnroy J E,Zhen Q.A novel pose estimation algorithm based on points to regions co丌espondenceⅢ.International Journal of Mathematical Imaging and Vision,2008,30(2):195-207. [27]杨东方,孙富春,王什成.单}{摄像机F{运动的滚动时域估 计‘力‘法[J].模式识别与人工智能,2012,25(5):782.791. Yang D F'Sun F C,Wang S C.Moving horizon estimation of ego—motion in monocular visual systems[J].Pattern Recognition and Artificial Intelligence,2012,25(5):782—79l [28】Coshes—Meskin D,Bar—Itzhack I Y Observability analysis of piece—wise constant systems.Part I:Theory[J].IEEE Transac— tion on Aerospace and Electronic Systems,l 992,28(4):1056一 1067. [29]Lee K w,Wijesoma W S,Javier I G.On the observabil- ity and observability analysis of SLAM[C]//IEEE/RSJ Interna- tional Conference on Intelligent Robots and Systems.Piscat- away,NJ,USA:IEEE,2006:3569—3574. 【30】Vidal—Calleja T’Bryson M,Sukkarieh S.On the observability of bearing—only SLAM[C]//IEEE International Conference on Robotics and Automation.Piscataway,NJ,USA:IEEE,2007: 41 14—4119. 【3 l】Bonnifait P'Garcia G,Design and experimental validation of an odometric and goniometric localization system for outdoor robot vehicles[J1.IEEE Transactions on Robotics and Automa- tion,1998,14(4):541.548. 作者简介: 杨东方(1985一),男,博士牛,助理工程师.研究领域:计 算机视觉,导航技术与非线性滤波理论. 王仕成(1962一),男,教授,博’{二生导师.研究领域:现代 导航,控制理论与应用. 刘华平(1976一),刃,博士,副教授.研究领域:计算机视 觉,智能控制和滤波. 万方数据 基于Kinect系统的场景建模与机器人自主导航 作者: 作者单位: 刊名: 英文刊名: 年,卷(期): 杨东方, 王仕成, 刘华平, 刘志国, 孙富春, YANG Dongfang, WANG Shicheng, LIU Huaping, LIU Zhiguo, SUN Fuchun 杨东方,YANG Dongfang(第二炮兵工程大学,陕西西安710025;清华大学智能技术与系统国家重点实 验室,北京 100084), 王仕成,刘志国,WANG Shicheng,LIU Zhiguo(第二炮兵工程大学,陕西西安 ,710025), 刘华平,孙富春,LIU Huaping,SUN Fuchun(清华大学智能技术与系统国家重点实验室 ,北京,100084) 机器人 Robot 2012,34(5) 本文链接:http://d.g.wanfangdata.com.cn/Periodical_jqr201205011.aspx

    Top_arrow
    回到顶部
    EEWORLD下载中心所有资源均来自网友分享,如有侵权,请发送举报邮件到客服邮箱bbs_service@eeworld.com.cn 或通过站内短信息或QQ:273568022联系管理员 高进,我们会尽快处理。