首页资源分类应用技术测试测量 > 摄像头黑线识别算法.pdf

摄像头黑线识别算法.pdf

已有 462294个资源

下载专区


TI最新应用解决方案

工业电子 汽车电子 个人消费电子

文档信息举报收藏

标    签: 摄像头黑线识别算法

分    享:

文档简介

摄像头黑线识别算法.pdf 

文档预览

摄像头黑线识别算法和赛车行驶控制策略 贾秀江 1,李颢 2 1. 上海交大 机械设计及自动化研究所 上海 200240 2. 上海交大 自动化系 上海 200240 文 摘: 本文在图像采集系统已经获取比赛赛道的实时图像的基础之上, 研究和分析了赛道中黑线的实时检测算法;并根据识别的黑线信息, 来对赛车的转向舵机和行驶速度进行控制,使之达到较为完美的转弯 特性和速度控制。首先简单的介绍了整个图像采集系统的所获取的图 像信息和比赛赛道信息的特点。然后针对性的提出赛道黑线的边沿检 测算法,通过实验确定黑白色之间的阀值和其他主要参数值。最后根 据前面识别的黑线信息来预判前方路况信息,从而控制转向舵机的转 向角度和赛车的行驶速度。 关键词:图像采集;实时图像处理;边沿检测;转向舵机;驾驶速度 中图分类号: TP1 Distinguish Black Line by Camera and Drive the Smart Car Jia Xiujiang1,Li Hao2 1. School of Mechanical Engineering , Shanghai Jiaotong University, Shanghai 200240, China; 2. Department of Automation, Shanghai Jiaotong University, Shanghai 200240, China Abstract: In this paper we make a study on the tracking method of the guideline on a lane, on the base that the real time images of the lane have already been obtained by the image-sampling system. We also make use of the information of the tracked guideline to control the steer and speed of the vehicle so as to achieve comparatively perfect turing performance and speed control. First we briefly introduce the characteristics of the image and lane information obtained by the image-sampling system, then demonstrates the edge-detecting method of the guideline intended for those characteristics. We get the threshold difference value between white pixels and black pixels and other major parameters by experiments. In the last we use the guideline information obtained to figure out the lane information in front of the vehicle by which we could exert proper control on the turning angle of the steer and the speed of the vehicle. Key words: image acquire, real time image process, edge detective, steer control, speed control 背景简介: 按照第一届全国大学生“飞思卡尔”智能车大赛比赛规则要求: 使用大赛组委会统一提供的竞赛车模,采用飞思卡尔 16 位微控制器 MC9S12DG128 作为核心控制单元,自主构思控制方案及系统设计, 包括传感器信号采集处理、控制算法及执行、动力电机驱动、转向舵 机控制等,以比赛完成时间短者为优胜者。其中赛道为在白色底板上 铺设黑色引导线。根据赛道特点,主要有两种寻线设计方案:一、光 电传感器方案;二、摄像头方案。 这两种方案各有特点:其中光电传感器构成“线型检测阵列”的 方案简单易行,但是将其应用于智能车竞赛中仍有一些局限性。例如, 由于受比赛规则限制(传感器数量不超过 16 个(红外传感器的每对 发射与接受单元计为 1 个传感器,CCD 传感器记为 1 个传感器)), 光电管的数量不可能太多,从而单个线型检测阵列所能确定的指引线 信息较少。所以若是采用此方案,会导致寻线精度不够高,在接下来 的舵机转向控制的时候产生直道蛇行或者弯道舵机回摆。此外,光电 线型检测阵列的探测距离较短,而比赛又限制了整个车体系统的长 度,这样,其对前方路况的预判断距离很有限。车辆行进速度较快时, 若能预判前方一定距离的路况,则有助于智能车对前方突然出现的路 况变化(如转弯)作及时的应对处理;否则,车辆可能会偏离指引线 较远,甚或冲出赛道。 基于前述对“线型检测阵列”寻线能力局限性的考虑,我们选择 采用摄像头作为寻线传感器。这是因为,一方面摄像头所能探测的赛 道信息远多于“线型检测阵列”探测的,而且摄像头也有足够远的探 测距离以方便对前方路况进行预判。另一方面,比赛规定使用的 Freescale16 位单片机 MC9S12DG128 的运算速度和自身 AD 口的采样 速度,能够适应对黑白低线数摄像头的有效视频采样和对大量图像数 据的处理。 本文就是在摄像头方案的实时图像数据已经获得的基础上,对图 像进行数据处理,提取赛道中的引导黑线位置,从而以此作为舵机和 驱动电机的控制依据。 1 图像数据信息特点 摄像头的主要工作原理是:按一定的分辨率,以隔行扫描的方 式采集图像上的点,当扫描到某点时,就通过图像传感芯片将该点处 图像的灰度转换成与灰度成一一对应关系的电压值,然后将此电压值 通过视频信号端输出。具体而言(参见图 1),摄像头连续地扫描图 像上的一行,则输出就是一段连续的电压视频信号,该电压信号的高 低起伏正反映了该行图像的灰度变化情况。当扫描完一行,视频信号 端就输出低于最低视频信号电压的电平(如 0.3V),并保持一段时间。 这样相当于,紧接着每行图像对应的电压信号之后会有一个电压“凹 槽”,此“凹槽”叫做行同步脉冲,它是扫描换行的标志。然后,跳 过一行后(因为摄像头是隔行扫描的方式),开始扫描新的一行,如 此下去,直到扫描完该场的视频信号,接着就会出现一段场消隐区。 此区中有若干个复合消隐脉冲(简称消隐脉冲),在这些消隐脉冲中, 有个脉冲,它远宽于(即持续时间长于)其他的消隐脉冲,该消隐脉 冲又称为场同步脉冲,它是扫描换场的标志。场同步脉冲标志着新的 一场的到来,不过,场消隐区恰好跨在上一场的结尾部分和下一场的 开始部分,得等场消隐区过去,下一场的视频信号才真正到来。摄像 头每秒扫描 25 幅图像,每幅又分奇、偶两场,先奇场后偶场,故每 秒扫描 50 场图像。奇场时只扫描图像中的奇数行,偶场时则只扫描 偶数行。 图 1 摄像头视频信号 由于 S12 芯片的处理能力不足以支持像 PC 那样的运算能力, 因此我们采用了只有黑白制式、320×240 的 CMOS 单板摄像头(每 秒 50 帧)。由于受 S12 片内 AD 的转换能力限制(参考技术报告《S12 片内 AD 与 AD9054 的比较》),在总线周期为 32M 的情况下,每行 最多能够采集 78 个点,其中前 12 个数据为行消影,第 12 到第 78 点 为有效数据点(参考图 2)。 图 2 单行 78 点:前 0-11 为行消影、凹槽为黑线位置 根据单行所能采集的数据点数,为了视觉上辨别前方一般路况信 息,我们需要尽可能多的采集图像。图 3 为 40×80 的单幅图像: 图 3 40×80 灰度图 但是对于比赛来说,赛道是在白色底板上铺设黑色引导线,因此 它的干扰信息会少很多。所以对于比赛的黑线检测来说 40 行已经太 多了:只要在单行上有足够多的信息点,较少的行数就可以实现对黑 线的检测;在综合了实践比对之后,最终方案决定采用 10 行的信息 来判断前方是直道还是弯道。 前面主要简单介绍了单板摄像头的信号特点,以及用于控制算法 处理的原始图像信息。并且进一步通过实验决定了最终黑线提取算法 所需要采用的图像信息行数;接下来将详细分析和研究黑线提取算法 以及通过该算法来进行速度和转向控制。 2 单行黑线提取算法 前面提到了摄像头图像信息的特点,接下来将结合比赛赛道的图 像特点来提出相应的黑线提取算法-边沿检测算法。由于比赛赛道是 在白色底板上铺设黑色引导线,因此干扰比较小,黑线提取较为容易。 很自然的就想到了图像处理算法中较为简单的边界提取算法。由于黑 色赛道和白色底板之间的色差较大,直接反映在图像数据中就是大于 一个黑白色阀值。通过实验可以基本上确定该阀值的大小,根据现场 光线的变化影响会有略微的变化。但是该阀值基本上介于 22-30 之 间。因为可以通过判断相邻数据点的差是否大于该阀值,作为边沿提 取算法的依据和主要参数。 该算法的主要过程为: 1, 从最左端的第一个有效数据点(12)开始依次向右进行 阀值判断:由于实际中黑白赛道边沿可能会有模糊偏差, 导致阀值并不是简单的介于相邻的两个点之间,很可能 要相隔两个点(参考图 2)。因此: 2, 第 line 为原点,判断和 line+3 的差是否大于阀值,如果 是则将 line+3 记为 i,从 i 开始判断在接下来的从 i+3 到该行最末一个点之间的差值是否大于阀值,如果大于 则将 line+i/2+2 的坐标赋值给黑线中心位置(参考图 4)。 图 4 单行黑线提取算法 利用该算法所得到的黑线提取效果不仅可靠,而且实时性好;在 失去黑线目标以后能够记住是从左侧或者右侧超出视野,从而控制舵 机转向让赛车回到正常赛道。具体黑线提取效果可参考图 4。其中白 色垂线为实时黑线中心位置示意。 图 4 单行黑线提取效果(白色垂线表示黑线中心) 在该小结中结合赛道的特点针对性的利用边沿检测算法来提 取黑线;实验表明,只要阀值取得合适,该算法不仅可靠,而且实时 性较好。如果更进一步可以设置阀值根据现场情况的变化而变化。在 黑色引导线已经能够可靠提取的基础上,我们可以利用它来进行相应 的弯、直道判断,以及速度和转向舵机控制算法的研究。 3 弯、直道判断、以及速度和舵机控制算法 影响赛车速度成绩的一个非常重要因素就是对弯道和直道的提 前识别判断,从而实现安全过弯、快速通过直道,提高比赛成绩。而 摄像头方案在这方面有天然的优势——1)相对于光电传感器,可以 获得较远的路况信息。2)不仅可以得到单行的黑线信息,还可以同 时获得多行的黑线信息。根据前面提到的最终以 10 行黑线信息作为 弯、直道的判断算法依据,下面简单介绍一下该算法。 在单行黑线边沿检测提取算法的基础上,我们可以根据 10 行的 数据中每行黑线位置与 10 行平均位置(参考 公式 1)之相对位移, 然后求 10 行相对位移之和(公式 2 )。最后根据该值的大小并且结 合实际赛道实验数据,来确定弯道和直道之间的阀值大小,而且,随 着弯道系数的增大,该位移之和也会相应增大。 ROW _ MAX ∑ X[row] X = row=0 ROW _ MAX ( 公式 1 ) ROW _ MAX Curve = ∑ X [row] − X row=0 (公式 2 ) 根据该弯直道判断算法,可以得到一组由直道入弯、然后出弯的 Curve 参数曲线。(参考图 5、6 和表 1、2) 图 5 普通 180°弯道 图6 S弯 序列 表 1 普通 180 度弯 1 2 3 4 5 6 CURVE 9 24 13 18 23 5 表2 S 弯 序列 1 2 3 4 5 6 7 8 9 10 CURVE 5 22 6 43 18 32 6 52 7 6 观察表 1 和表 2 可以得到在弯道中 curve 数值一般都大于 10, 偶尔在切线位置处出现小于 10 的情况,但是作为弯道的判断已经足 够了,而且随着曲率半径的减小 curve 值也会相应的增大。因此可以 根据 curve 的值来设置几个阀值,判断赛车前方的路况信息,决定赛 车是否减速。同时速度控制算法可以采用以 curve 为变量的 P 控制: Speed = SPEED _ MAX − SPEED _ MIN ×curve + SPEED _ MIN (公式 3 ) CURVE _VALVE 但是转向舵机的控制如果也采用以 curve 为参数的 P 控制算法, 虽然可以快速冲过 S 弯,并且普通弯道也能够在内侧行驶;不过这样 要冒撞到赛道边沿标志杆的风险。所以为了能够准备可靠的通过各种 弯道,可以采取转向舵机的 P 控制: steer = STEER _ CENTER + coefficient( X − video _ center) (公式 4 ) 其中:coefficient = STEER _ LEFT − STEER _ RIGHT LINE _ MAX − LINE _ MIN (公式 5 ) video _ center = LINE _ MAX − LINE _ MIN 2 (公式 5 ) 并且: STEER_CENTER :舵机转向中心 X : 当前黑线位置 STEER_LEFT, STEER_RIGHT : 舵机左、右转极限 Video_center : 摄像头图像中心 LINE_MAX, LINE_MAX : 摄像头图像左右极限位置 4 总结 本文力图在摄像头的图像信息已经能够较为准确可靠的采集 10× 78 的基础上,探讨并研究了黑色引导线的边沿提取算法,并且通过 实验确定了合适的黑白色阀值;获得了稳定可靠的黑线位置数据。然 后在该算法的基础上,利用 10 行中每行黑线位置与平均位置的偏差 之和来对赛道进行判断;判断接下来的是直道还是弯道,同时还可以 判断弯道的弯曲程度;然后决定速度控制策略和舵机转向策略。实践 表明,采用此算法和控制策略可以使赛车获得较快的行驶速度和可靠 的转向性能。 参考文献和附录 [1] 张晓飞,袁祥辉. 基于 DSP 成像系统的视频图像采集部分的实现. 压电与声光, 第 24 卷,第 3 期. 2002 年 6 月 ZHANG Xiaofei, Yuan Xianghui. Da ta Acquisition for Video Image on Imaging System Ba sed on DSP. P IEZOEL ECTR ICS & ACOU STOOPT ICS. Vol. 24 No. 3 June 2002(in Chinese) [2] National Semiconductor. LM1881 Video Sync Separator General Description. April 2001 [3] Freescale Semiconductor, Inc. MC9S12DG128 Device User Guide http://www.freescale.com.cn/

Top_arrow
回到顶部
EEWORLD下载中心所有资源均来自网友分享,如有侵权,请发送举报邮件到客服邮箱bbs_service@eeworld.com.cn 或通过站内短信息或QQ:273568022联系管理员 高进,我们会尽快处理。