datasheet
超过460,000+ 应用技术资源下载
pdf

基于ARM平台的视觉测振技术研究

  • 1星
  • 日期: 2014-03-05
  • 大小: 1.89MB
  • 所需积分:1分
  • 下载次数:0
  • favicon收藏
  • rep举报
  • 分享
  • free评论
标签: 基于ARM平台的视觉测振技术研究

随着计算机技术的发展,机器视觉在工农业生产和国防等领域已得到成功的应用,利用机器视觉进行检测更是其典型应用。根据运行环境的不同,机器视觉系统可分为PC-BASED系统和PLC-BASED系统。由于这两种系统成本都相对较高、软硬件系统相对复杂、体积相对较大,因此,在应用中受到一定的限制。嵌入式系统是当前发展迅速的热门技术,具有体积小、价格低、开发环境简单、运用灵活、现场运行可靠等优点。因此,将机器视觉技术建立在嵌入式系统平台上不仅是机器视觉的发展趋势,同时也实现了两者的优势互补。 在现代工程领域,常常需要检测各种振动。相对传统方法而言,视觉测振技术具有明显优点。本文主要研究了在ARM平台上利用机器视觉技术进行振动检测的相关技术及方法。 根据嵌入式机器视觉系统的特点,本文分析了摄像系统标定的方法,建立空间物体的实际位置与图像上点的对应关系,并改进数据处理的方法,提高标定的精度。分析了目前常用的图像处理方法,根据系统平台实际工作能力,设计了有针对性的处理算法,提高图像处理的效率;为了方便对被测对象的识别和跟踪,采用基于颜色阈值的分割技术,从而有效地降低了对系统测量环境、光照条件等的要求,提高了系统的适应性。 本文以二维振动物体为被测对象,利用机器视觉技术,对低频小振幅的二维振动进行了检测,并对振动信号进行分析。实验证明利用视觉技术检测振动的可行性和可靠性。

东南大学 硕士学位论文 基于ARM平台的视觉测振技术研究 姓名:田菲 申请学位级别:硕士 专业:测试计量技术及仪器 指导教师:张文锦 20070707 摘要 随着计算机技术的发展,机器视觉在工农业生产和国防等领域已得到成功的应用,利用机器视觉进 行检测更是其典型应用。根据运行环境的不同,机器视觉系统可分为PC-BASED系统和PLC—BASED 系统。由于这两种系统成本都相对较高、软硬件系统相对复杂、体积相对较大,因此,在应用中受到一 定的限制。嵌入式系统是当前发展迅速的热门技术,具有体积小、价格低,开发环境简单、运用灵活、 现场运行可靠等优点。因此,将机器视觉技术建立在嵌入式系统平台上不仅是机器视觉的发展趋势,同 时也实现了两者的优势互补。 在现代工程领域,常常需要检测各种振动。相对传统方法而言,视觉测振技术具有明显优点。本文 主要研究了在ARM平台上利用机器视觉技术进行振动检测的相关技术及方法。 根据嵌入式机器视觉系统的特点,本文分析了摄像系统标定的方法,建立空间物体的实际位置与图 像上点的对应关系,并改进数据处理的方法,提高标定的精度。分析了目前常用的图像处理方法,根据 系统平台实际工作能力,设计了有针对性的处理算法,提高图像处理的效率:为了方便对被测对象的识 别和跟踪,采用基于颜色阈值的分割技术,从而有效地降低了对系统测量环境、光照条件等的要求,提 高了系统的适应性。 本文以二维振动物体为被测对象,利用机器视觉技术,对低频小振幅的二维振动进行了检测,并对 振动信号进行分析。实验证明利用视觉技术检测振动的可行性和可靠性。 关键词:机器视觉嵌入式系统ARM振动检测摄像系统标定 图像处理 东南大学硕士学位论文 ABSTRACT With the developmem ofcomputer technology,machine vision has been successfully applied in industry, agriculture,national defence and other fields.Testing is the typical application ofmachine vision.According to the environment in which it is use山the machine vision system call be classified as PC.based system and PLC-based system.Both of them are comparatively expensive,complicated in hardware and software,and large in size,therefore their application is limited.Embedded system is a hot and rapidly-developed technology and it provides with the advantage of small size,low cost,easy to be developed,flexible in use and reliable operation.Thus,if machine vision can be built on the base of embedded system,it isn’t only the trend of the development ofmachine vision,but also both ofeach advantage can be combined. In modem engineering field,various vibrations often are measured.The technology of vision measurement for vibration has obvious advantages over traditional methods.The dissertation researches the technology and method ofvision measurement for vibration on ARM platform mostly. On the basis of the characteristics of the embedded machine vision system,the dissertation analyses the method ofcamera calibration,builds the connection between the actual position ofobject and the points ofthe images,and improves the method of data processing so as to achieve higher precision.It analyses the method ofimage processing currently used,and designs the arithmetic according to the capability ofthe system so as to improve the efficiency of images treatment.It adopts the method based on HSV color model to recognize object.Consequently,the system reduces the requirement ofmeasure environment and illumination condition. Using the technology of machine vision,the dissertation tests two·dimension vibration object of low-frequency and little-swing.and analyses vibration signal.The experiment result proves the feasibility and reliability ofthe technology ofvision measurement for vibration. Keywords:machine vision,embedded system,ARM,vibration measuring,camera system calibration, image processing II 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成 果。尽我所知,除了文中特别加以标注和致谢的地方外,论文中不包含其他人已经发表或 撰写过的研究成果,也不包含为获得东南大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了 谢意。 一躲哗…碑 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的复 印件和电子文档,可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和 纸质论文的内容相一致。除在保密期内的保密论文外,允许论文被查阅和借阅,可以公布 (包括刊登)论文的全部或部分内容。论文的公布(包括刊登)授权东南大学研究生院办 理。 研究生签名 导师签名 日期 第一章绪论 第一章绪论 1.1引言 机器视觉(MachineVision)是自动化领域一个研究热点。利用机器视觉进行检测更是其典型应用。 由于机器视觉大多建立在PC--BASED系统或PLC—BASED系统上,软硬件环境要求较高、体积较大、 成本较高,因此,其应用范围受到一定限制。 另一方面,面向测控对象的嵌入式系统因其体积小、价格低、开发环境简单、运用灵活、能很好地 满足应用系统的嵌入、现场运行可靠等优点,在各个领域得到广泛的应用。因此,如果能将机器视觉技 术建立在嵌入式系统平台上,使机器视觉系统最大限度的实现自主式和小型化,这不仅是技术发展的趋 势,而且有利于两者优势互补,具有极大的应用意义。 在工程技术领域,常常需要对各种振动进行检测。采用传统方法检测振动时,传感器的安装问题一 直都没有得到很好的解决,这给振动检测带来诸多不便。与常规振动检测方法相比,机器视觉技术属于 非接触检测,没有负载效应和现场连线问题,而且信息量大,因此具有明显优势。正因为如此,视觉测 振技术得到迅速发展。 本章先介绍选题背景和意义,然后阐述课题来源,最后引出本论文的研究目标和内容。 1.2选题背景和意义 1.2.1机器视觉概述 机器视觉技术产生于工业自动化。在现代工业的自动化生产中,涉及到各种各样的检验、生产监视 以及识别应用,例如零件批量加工的尺寸检查、自动装配的完整性检查、电子装配线的元件自动定位、 IC上的字符识别等。通常人眼无法连续、稳定地完成这些具有高度重复性的工作,而一般的物理量传 感器也难有用武之地。因此,人们开始考虑把计算机的快速性、可重复性与人服视觉的高度智能化和抽 象能力相结合,并由此产生了一门新的学科一机器视觉。 美国制造工程师协会(SME,Society ofManufacturing Engineers)机器视觉分会和美国机器人协会 (RIA,Robotic Industries Association)的自动化视觉分会对机器视觉下定义为:“机器视觉是通过光学 的装置和非接触的传感器,自动地接收和处理一个真实物体的图像,以获得所需信息或用于控制机器人 运动的装置。” 机器视觉主要是借助计算机来模拟人的视觉功能,从客观事物的图像中提取信息,进行处理并加以 理解,最终用于实际检测、测量和控制。一个典型的机器视觉系统口4J一般包括如下部分:光学系统、 图像捕捉系统、图像数字化模块、图像处理模块、智能判断和决策模块、控制执行模块,如图1-1所示。 首先,系统采用光学成像系统和图像捕捉系统将目标转换成图像信号,然后通过A/D转换变成数字化 信号传送给专用的图像处理模块,根据像素的分布、亮度和颜色等信息,进行各种运算来抽取目标的特 征,如:面积、长度、数量、位置等,最后根据预设的容许度和其他条件输出判断结果,去控制驱动执 行机构进行相应的处理。 东南大学硕士学位论文 图1.1机器视觉系统组成框图 机器视觉是一项综合技术,其中包括数字图像处理技术、机械工程技术、控制技术、光源照明技术、 光学成像技术、传感器技术、模拟与数字视频技术、计算机软硬件技术、人机接口技术等。机器视觉强 调实用性,要求能够适应工业现场恶劣的环境,要有合理的性价比、通用的接口、较高的容错能力和安 全性,并具有较强的通用型和可移植性。它更强调实时性,要求高速度和高精度。 根据运行环境的不同,机器视觉系统可分为PC--BASED系统和PLC--BASED系统。 基于PC的系统利用了其开放性,高度的编程灵活性和良好的Windows界面。系统内含高性能的图 像采集卡,一般可接多个镜头。配套软件方面,从低到高有几个层次,如晰ndows95/98,NT环境下c,C抖 编程用DLL,可视化控件ActiveX提供Visual Basic和Visual c++下的图像化编程环境,甚至Windows 下的面向对象的机器视觉组态软件,用户可用它进行快速开发复杂高级的应用。但是基于PC的视觉系 统采用PC作为其核心处理器。系统过于庞大,限制了其应用范围。 在基于PLC的系统中,机器视觉的作用更像是一个智能化的传感器,图像处理单元独立于系统, 通过串行总线和I/O与PLC交换数据。系统硬件一般利用高速专用ASlC或嵌入式计算机进行图像处理, 系统软件保存在图像处理器中。基于PLC的系统体现了可靠性高、集成化、小型化、高速化的特点。 但是由于使用ASIC进行图像处理,使得其只能应用于特定的图像处理中。 正是由于基于PC或者PLC的机器视觉系统存在软硬件要求高、成本较大的不足,因此需要寻求 其他系统作为机器视觉的平台,实现性价比的优化。嵌入式系统正是这样一个不错的选择。 1.2.2嵌入式系统概述 嵌入式系统是指[31]1321:以应用为中心,以计算机技术为基础,软硬件可裁剪,适应应用系统,对 功能、可靠性、成本、体积、功耗严格要求的专用计算机系统。它是先进的计算机技术、半导体技术、 电子技术与各行业具体应用相结合的产物。这一点决定了它必然是一个技术密集、资金密集、高度分散、 不断创新的知识集成系统。 嵌入式系统不同于一般的系统,它具有如下一些特点: 1.体积小。在智能化设备、仪器仪表、信息家电等应用场合,出于对产品的体积、成本等因素的 考虑,一般要求将计算机控制部分安装在系统内部,并且要求所占用的空间尽可能小。 2.良好的性能价格比。嵌入式系统要求开发周期短,性能优越,良好的性能价格比是在市场上取 得优势的关键,这也是嵌入式系统设计的目标之一。 3.存储容量小。嵌入式系统中一般没有硬盘等存储设备,所以容量一般不能很大。 4.实时性比较强。嵌入式系统,一般作为应用的关键部分,时间特性要求非常严格。 5.软硬件系统高效、紧凑。嵌入式系统的硬件和软件都必须高效率地设计,量体裁衣,去除冗余, 力争在同样体积和容量下实现更高的性能。 6.嵌入式系统和具体应用有机地结合在一起。嵌入式系统是面向用户、面向产品、面向应用的, 不可能独立于应用自行发展。嵌入式处理器的功耗、体积、成本、可靠性、速度、处理能力、电磁兼容 2 第一章绪论 性等方面均受到应有要求的制约。 自20世纪80年代嵌入式系统产生以来,其应用已深入到工业、农业、国防、科研、教育以及日常 生活当中。嵌入式系统的主要应用领域包括: 1.工业方面:电机控制、物理量的检测与处理、工业机器人、过程控制、智能传感器等。 2.仪器仪表方面:智能仪器仪表、医疗器械、色谱仪、示波器等。 3.民用方面:电子玩具、电子字典、记事簿、高级电子游戏机、录像机、电冰箱、洗衣机、抽湿 机、消毒柜、照相机、空调机、电风扇、防盗控制等。 4.电讯方面:调制解调器、智能线路运行控制、程控电话交换机等。 5.导航控制方面:鱼雷制导控制、智能武器装置、导航控制、航天导航系统、电子干扰系统等。 6.数据处理方面:图形终端、复印机、硬盘驱动器、磁带机、打印机、打字机等。 7.汽车方面:点火控制、变速控制、防滑杀虫,排气控制、节能控制、保安控制、冷气控制、汽 车报警控制、测试设备等。 1.2.3视觉测振技术 在现代工程领域,存在大量的振动现象。科技人员常常需要对各种振动进行检测和信号分析。采用 传统方法进行振动检测时,传感器的安装一直没有好的解决办法,这主要是因为p 7】: 1。传感器安装于被测系统后,会不同程度地影响原有振动系统,降低了检测结果的可靠性,即难 于克服负载效应。 2.为减轻负载效应,传感器与检测系统分开安装,而且相距较远。这样一来,传感器与检测系统 之间的信息传输也是需要解决的问题。 3.一些大型振动系统的振动状态复杂,为全面掌握其振动,布置的传感器往往点多面广,数据分 析的工作量大,检测周期长,耗资大。 用机器视觉技术进行振动检测是通过图像传感设备实时拍摄并记录被测对象的振动图像,进行数据 处理,最终获得被测对象的振动轨迹。相对于传统的振动检测方法,这种检测方法具有以下明显的优势: 1.它是一种远程遥测方法,属于非接触式测量,不需要在被测对象上安装传感器,因此没有任何 负载效应,而且省却了传感器的安装和传输线布局等大量工作。 2.当有需要多点测试时,只需配置多个摄像头,进行适当的软件配置,不需进行现场传感器的配 线,因此可实现多点同时检测。 3.由于是图像记录,因此信息量比传统方法大得多,能获得物体振动的其他信息,如振动激励源 受振物体间的相互作用关系等。 4.因为是遥测,传感器与检测系统可集中放置,图像信息可直接数字化,因此可方便地构成全自 动全数字化振动检测处理、记录系统。 由于上述原因,视觉测振技术得到了迅速发展,但由于图像处理的复杂性和高分辨率、高速图像传 感器价格昂贵,目前未见通用化的商业产品上市,这项技术仍旧处于发展期。 1.3课题来源 21世纪是知识经济的时代。知识已经被认为是提高劳动生产率和实现经济增长的引擎。知识经济 的本质和核心就是创新。我国要在知识经济大潮中获得优势地位就必须拥有大量的高素质的创新人才。 这样一来,学校特别是高等院校越来越处于社会的中心位置,尤其是在创新人才的培养方面,高等院校 更是起着非常关键的作用。 在创新能力的培养方面,实践起到了至关重要的作用,可以说创新源于问题,基于实践,创新能力 必须通过实践来培养。有鉴于此,各高等院校不断加强实验室和实验中心的建设,不断加强实验环节的 教学工作等,以培养学生的实践能力和创新意识,适应知识经济时代对人才的要求。 3 东南大学硕士学位论文 然而,由于长期以来受传统教育教学理念的束缚,各高校实验内容往往以相对分散、孤立,关联性, 系统性比较差的验证性实验为主,各种实验设备依附于具体的课程,不具备开放性和综合性,难以满足 开展综合性、创造性和开放性实验研究的需要,扼制了实验者主动性和创造性的发挥,不利于实践能力 和创新精神的培养。 另一方面,在现代社会,检测技术渗透到了人们的生产活动、科学实验和日常生活的各个方面,在 生产、生活和科学研究等领域具有重要的作用。作为信息时代的关键技术之一,传感器技术是检测技术 的基础。因此,了解和掌握传感器技术对工程技术人员具有非常重要的意义。有鉴于此。各大、中专院 校纷纷开设了传感器与检测技术有关的课程,如传感器原理与技术,非电量电测技术、机械量电测、自 动化检测技术、单片机原理与实践、微机系统与接口设计、工业自动化仪表与控制、控制仪表与电器, 检测技术与系统设计、智能仪器设计、误差理论与数据处理、数字信号处理等。 正是在这样的时代背景下,按照当前创新教育和素质教育的需求、剖析国内各种传感器及检测技术 实验装置,参照国内一流高校的实验教学和创新教学经验,结合科研、产品开发及工程实际等的要求, 笔者所在课题组准备研制一种面向于传感嚣与检测技术课程群的通用实验平台,它不仅能够满足高校现 有实验教学的基本要求,更能满足高校开展综合型、设计型和刨新型实验的需求,这也是我国国家教育 部对高校示范实验中心和其设备的建设要求。 本论文所研究的嵌入式机器视觉系统正是传感器与检测技术课程群通用实验平台的子课题,主要研 究了基于ARM嵌入式系统平台上的机器视觉技术在振动检测方面的应用。本文在构建一套价格低廉、 性能尚可的视觉测振实验台方面作一些积极性的探索,这在推广视觉测振技术,拓展图像传感器在常规 领域的应用及提高学生实践能力和创造性思维方面具有一定的研究价值。 1.4论文的主要内容 本论文旨在研究在以ARM9系列处理器为核心的嵌入式系统平台上利用机器视觉技术进行振动检 测的可行性。需要重点完成的工作有:在ARM9系列处理器为核心的嵌入式开发平台上搭建机器视觉 系统;根据系统的特点,分析摄像机系统模型,实现摄像机系统的标定和校正等;根据检测对象的特点, 设计有针对性的图像处理算法;利用所研究的视觉测振技术进行二维振动实验,并分析实验数据。 全文共分六章,主要内容和组织结构如下: 第一章:绪论。主要介绍本论文的研究背景和意义,并详细介绍各章节的内容安排。 第二章:ARM9嵌入式系统介绍。主要介绍了本课题采用的ARM9嵌入式系统硬件构成以及使用 的操作系统。 第三章:摄像系统标定与校正。主要介绍了在本课题中采用的摄像机系统标定方法及其算法。本论 文采用Weng’s摄像机模型,采用分步法对其进行标定。 第四章:图像处理及检测识剐。主要介绍了在基于ARM平台的视觉测振技术中采用的图像处理算 法:利用快速中值滤波对图像进行预处理工作;通过颜色特征实现了对运动物体的识别;利用数学形态 学对分割后的图像进行滤波处理,求取形心。 第五章:二维振动实验。主要介绍了利用本课题研究的基于ARM平台的视觉测振技术进行二维振 动实验的情况。实验结果证明视觉测振技术的可行性和可靠性。 第六章:论文总结与展望。对本论文所作的工作进行了全面的总结,并在此基础上,对今后的进一 步研究工作进行了展望。 1.5本章小结 本章从机器视觉的产生出发,首先对机器视觉的概念、构成、分类等方面进行概述。针对机器视觉 在实际应用中的局限性,得出将机器视觉技术建立在嵌入式系统平台上的意义。机器视觉的应用范围很 广,利用机器视觉进行检测是其典型的应用。本章探讨了利用机器视觉技术进行振动检测方面的优势和 4 第一章绪论 前景。然后,根据课题来源和实际需要,提出了在ARM平台上建立视觉测振系统的目标,并阐述了具 体的工作要求。最后,对整个论文的结构进行了安排。 东南大学硕士学位论文 第二章ARM9嵌入式系统 2.1引言 本课题中,视觉测振技术是搭建嵌入式系统上。目前市场上嵌入式系统种类繁多,各具其特色,需 要根据特定应用的需要合理选择嵌入式系统作为开发平台。本课题选择的嵌入式系统采用基于AMR9 系列微处理器¥3C2410作为硬件平台的核心,采用Windows CE作为操作系统。本章将主要介绍ARM9 系列微处理器和操作系统的相关知识。 2.2 ARM系列微处理器 嵌入式处理器是嵌入式系统中的核心部件。嵌入式处理器的功能和性能,影响着整个系统的设计。 目前,市场上主流的微处理器有PowerPC,MCore,MIPS,ARM等。其中ARM系列微处理器约占据 了32位RISC微处理器75%以上的市场份额,是目前应用最广、最流行的微处理器。 2.2.1 ARM微处理器的应用领域 到目前为止,ARM微处理器及技术的应用几乎已经深入到各个领域: 1.工业控制领域:作为32位的RISC架构,基于ARM核的微控制器芯片不但占据了高端微控制 器市场的大部分市场份额,同时也逐渐向低端微控制器的应用领域扩展,ARM微控制器的低功耗、高 性价比,向传统的8位/16位微控制器提出了挑战。 2.无线通讯领域:目前已有超过85%的无线通讯设备采用了ARM技术,ARM以其高性能和低成 本,在该领域的地位日益巩固。 3.网络应用:随着宽带技术的推广,采用ARM技术的ADSL芯片正逐步获得竞争优势。此外, ARM在语音及视频处理上行了优化,并获得广泛支持,也对DSP的应用领域提出了挑战。 4.消费类电子产品:ARM技术在目前流行的数字音频播放器、数字机顶盒和游戏机中得到广泛采 用。 5.成像和安全产品:现在流行的数码相机和打印机中绝大部分采用ARM技术。手机中的32位 SIM智能卡也采用了ARM技术。 除此以外,ARM微处理器及技术还应用到许多不同的领域,并会在将来获得更加广泛的应用。 2.2.2 ARM微处理器的特点 采用RISC架构的ARM微处理器一般具有如下特点: 1.体积小、低功耗、低成本、高性能; 2.支持Thumb(16位)/ARM(32位)双指令集,能很好的兼容8位/16位器件 3.大量使用寄存器,指令执行速度更快; 4.大多数的数据操作都在寄存器中完成; 5.寻址方式灵活简单,执行效率高; 6.指令长度固定。 6 2.2.3 ARM微处理器系列 第二章ARM9嵌入式系统 ARM微处理器目前包括下面几个系列,以及其它厂商基于ARM体系结构的处理器。除了具有 ARM体系结构的共同特点以外,每一个系列的ARM微处理器都有各自的特点和应用领域。 1.ARM7系列; 2.ARM9系列; 3.ARM9E系列; 4.ARMl0E系列; 5.SecurCore系列; 6.Inter的Xscale; 7.Inter的StrongARM。 其中,ARM7、ARM9、ARM9E和ARMl0为4个通用处理器系列,每一个系列提供一套相对独特 的性能来满足不同应用领域的需求。SecurCore系列专门为安全要求较高的应用而设计。 2.2.4 ARM9微处理器系列 ARM9系列微处理器在高性能和低功耗特性方面提供了最佳的性能,它们具有以下特点: 1.5级整数流水线,指令执行效率更高。 2.提供1.1MIPS/MHz的哈佛结构。 3.支持32位ARM指令集和16位Thumb指令集。 4.支持32位的高速AMBA总线接口。 5.全性能的存储管理单元,支持Windows CE、Linux、Palm OS等多种主流嵌入式操作系统。 6.MPU支持实时操作系统。 7.支持数据Cache和指令Cache,具有更高的指令和数据处理能力。 ARM9系列微处理器主要应用于无线设备、仪器仪表、安全系统、机顶盒、高端打印机、数字照相 机和数字摄像机等。 目前,ARM9系列微处理器包括ARM920T、ARM922T和ARM940T,如表2-1所示。 Cache (1nst/Data) ARM920T ARM922T ARM940T 16KB/16KB 8KB/8KB Fixed 表2-1 ARM9家族产品 Tightly Memory BUS Coupled Mel'flOlv M舀 MMU M圳 ASB ASB MMU ASB Thumb Yes Yes Yes DSP Jazelle No No N0 No No N0 2.3 S3C2410X ¥3c2410x是韩国三星电子公司推出的一款基于ARM920T内核的16/32位RISC.嵌入式微处理器。 该处理器主要面向手持式设备及高性价比、低功耗的应用。 ¥3C2410X处理器核由ARM9TDMI、存储管理单元(MMU)和高速缓存三部分组成。其中MMU 可以管理虚拟内存。高速缓存由独立的16KB地址和16KB数据高速Cache组成。ARM920T有两个内 部协处理器:CPl4和CPl5。CPl4用于调试控制,CPl5用于存储系统控制以及测试控制。¥3C2410X 的主频可达203MHz,扩展总线最大频率looMHz。 7 东南大学硕士学位论文 ¥3C2410X的可扩展资源丰富,主要包括:1个LCD控制器(支持STN和TFT带有触摸屏的液晶 显示屏),SDRAM控制器,3个通道的UART,4个通道的DMA,4个具有PWM功能的计时器和1 个内部时钟,8通道的lO位ADC,触摸屏接口,12S总线接口,2个USB主机接口和1个USB设备接 口,2个SPI接口,SD接口和MMC卡接口,看门狗计数器,117位通用I]O接口和24位外部中断源, 8通道10位AD控制器。¥3C2410X的功能模块如图2-1所示。 I盏I超J∞ A ◇专 绷∞岍)詈code 一 叵三圃∞ 叵固 8 ◇专 E固∞ 8 夺专 e冷 —洲匐萄D砣F:兀as恧hB币∞t一 L∞0er U S 李专 M%∞mem l SR蛳撇”NC1副“¥CDORwAM ;1%瓣“K I l Brk培e&DMA(4Clhl I鳓馥,降专 {ifI'嚣 SDlwIMC:l仁专 UART“。。I㈤ u湄一Ie:》 J £, S I r l鼍挚I乍_> |感澈墨|仁专 B ^ P 8 一一一一一翌 图2-1 S3C2410X功能模块 本课题采用基于¥3C2410X的开发板作为硬件平台。这块开发板充分利用了¥3C2410X的接口和可 扩展资源。主要硬件构成如下: 1.CPU:采用三星公司的S3C2410,主频可达203Hz; 2.SDRAM:64M字节; 3.NAND Flash:64M字节: 4.NORFlash:2M字节: 5.显示:7寸TFTLCD真彩液晶屏,分辨率800*480: 6.USB主口:4个,符合USBl.1规范; 8 第二章ARM9嵌入式系统 7.USB从口:1个,符合USBl.1规范; 8.串行E1:2个,波特率最高可达115200bps 9.以太网接口:采用CS8900; 10.JTAG接口:标准20针; 11.摄像头:USB接口,采用OV51l+芯片。 2.4嵌入式操作系统 嵌入式操作系统作为嵌入式系统的灵魂[36】,是随着嵌入式系统的发展而出现的,它是嵌入式系统 发展到一定阶段的产物。嵌入式操作系统的出现,大大提高了嵌入式系统开发的效率,改变了以往嵌入 式软件设计只能针对具体的应用从头做起的历史。在嵌入式操作系统上开发嵌入式系统将减少系统开发 的工作量,增强嵌入式应用软件的可移植性,使嵌入式系统的开发更具科学性。可以说,嵌入式操作系 统的出现为嵌入式系统的发展铺平了道路。 2.4.1嵌入式操作系统特点 嵌入式操作系统在系统实时高效性、硬件的相关依赖性、软件固态化以及应用的专用性等方面具有 较为突出的特点,相对于一般操作系统,它除具备了一般操作系统最基本的功能,如任务调度、同步机 制、中断处理、文件功能等外,还有以下特点: 1.可装卸性。嵌入式系统需要根据应用的要求进行装卸,所以嵌入式操作系统也应是开放性、可 伸缩性的体系结构。 2.强实时性。嵌入式操作系统实时性一般较强,可用于各种设备控制当中。 3.统一的接口。提供各种设备驱动接口。 45. .操 提作 供方强便大、的简网单络、功提能供,友支好持的T图CP形/GIUPI协图议形及界面 其, 它追 协求议易,学提易供用Tc。帅MP伊PP协议支持及统一的 MAC访问层接口,为各种移动计算设备预留接口。 6.强稳定性,嵌入式系统一旦开始运行就不需要用户过多的干预。在这种条件下,要求负责系统 管理的嵌入式操作系统具有较强的稳定性。 7.弱交互性。大多数嵌入式系统的工作过程不需要用户的干预。嵌入式操作系统的用户接口一般 不提供操作命令,它通过系统调用命令向用户程序提供服务。 8.固化代码。在嵌入系统中,嵌入式操作系统和应用软件被固化在嵌入式系统的ROM中。辅助 存储器在嵌入式系统中很少使用。因此,嵌入式操作系统的文件管理功能应该能够很容易地拆卸,取而 代之的是各种内存文件系统。 9.更好的硬件适应性,也就是良好的移植性。 2.4.2常用的嵌入式操作系统 目前,国际上用于信息电器的嵌入式操作系统有40种左右。在市场上比较流行的嵌入式操作系统 有下面几种: 1.PalmOS PalmOS是一种32位的嵌入式操作系统,是专门为掌上电脑而开发的。Palm提供了串行通信接口 和红外线传输接口,利用它可以方便地与其它外部设备通信、传输数据;拥有开放的OS应用程序接口, 开发商可根据需要自行开发所需的应用程序。Palm OS具有极强开放性,现在有大约数千种专门为Palm OS编写的应用程序,从程序内容上看,4,N个人管理、游戏,大到行业解决方案,Palm OS无所不包。 9 东南大学硕士学位论文 在丰富的软件支持下,基于Palm OS的掌上电脑功能得以不断扩展。 同时,Palm OS充分考虑了掌上电脑内存相对较小的情况,它只占有非常小的内存。由于基于Palm OS编写的应用程序占用的空间也非常小(通常只有几十KB),因此,基于PalmOS的掌上电脑,虽然 只有几兆字节的RAM却仍可以运行众多应用程序。 Palm OS的一个重大缺点是其硬件和软件均由一家公司掌握,限制了软件开发队伍的扩大。由于 Palm缺乏对加密、VPN网络等商业应用的支持,目前市场份额已经很小了。 2.v,CLinux gCLinux是Linux小型化后,适合于没有MMU的微处理器芯片而裁剪成的操作系统。I_tCLinux保 持了传统Linux操作系统的主要特性,包括稳定、强大的网络和文件系统的支持;开放源码使第三方容 易实现产品的定制,具备完善的中文支持,强大的技术支持,完整的文档。gCLinux裁剪了大量的Linux 内核以缩小尺寸,适合像512KB的RAM、IMB的Flash这样小容量、低成本的嵌入式系统。gCLinux 系统小型化的另一简化是采用了IxCLib库替代Linux的Glib库,使用ucLib可以大大减少应用程序的 代码尺寸。 vCLinux主要是针对没有MMU的嵌入式处理器开发设计,那么它也失去了有MMU所带来的Linux 操作系统的特色。I_tCLinux对内存操作是直接的物理内存,这样,任何程序的异常都可能导致内核崩溃, vtCLinux支持多线程,但需要父子线程协调同步,gCLinux的文件系统相对比较陈旧,支持的CPU和 参考设计还比较少,开发工具相对于Windows CE和VxWorks,在易于使用和丰富性方面还待于提高和 改进。这对于商业化的产品开发中采用是有一定的风险。 3.¨C/OS·II gC/OS.II是一个价格低廉,对学校免费的操作系统。pC/OS.II作为一个占先式多任务的微内核的 RTOS,其性能和许多商业操作系统不相上下,并且开放源代码,使用者能够完全定制自己想要的功能。 它已经被广泛应用到医疗器械、引擎控制、网络设备等领域。“C/OS.II结构非常简洁,用户只要做少量 的工作即可将其移植到各种微处理器上。 pC/OS.II的主要缺点是作为一款开放源代码,对学校免费的操作系统,缺乏便利的开发环境和有效 的技术支持,对图形化的支持也不良好。 4.VxWorks VxWorks是美国WindRiver公司开发的,具有工业领导地位的高性能嵌入式实时操作系统。VxWorks 具有专门为实时嵌入式系统设计开发的操作系统内核,提供了高效的实时多任务调度、中断管理,实时 的系统资源以及实时的任务间通信。VxWorks只占用了很小的存储空间,并可高度裁减,保证了系统 能以较高的效率运行。另外,它有专门的强大的开发环境Tornado及WindML。 VxWorks作为一种典型的商业化操作系统,价格十分昂贵。和pCLinux一样,也是针对没有MMU 的处理器设计的,对于ARM9这样的有MMU的处理器来说支持并不是很好。 5.Windows CE Windows CE是Microsoft公司专门针对嵌入式产品领域开发的嵌入式操作系统,该系统是一种紧 凑、高效、可伸缩的32位的操作系统,它具备完整的操作系统特性集包和端对端开发环境,能较好地 满足嵌入式系统的开发和应用需求,主要表现在: ①内核稳定可靠,实时性强; ②具备设备无关的文件访问特性; ③通过提供较完整的网络通信协议和W'mdows插口——Mnsock实现网络互联; ④图像窗口事件子系统GWES(Graphics Windowing Events Subsystem)集成了Win32API、用户界 面(uI)和图形设备接口(GDI),支持多种形式的信息交互; ⑤高度模块化; ⑥WindowsCE提供了嵌入式平台的集成开发环境PlatformBuilder,其自带设计、创建、生成、测 试和调试等开发工具和支持特定开发板的BSP(板级支持包),可快速定制一个基于标准硬件结构的嵌 入式平台。 WindowsCE的主要缺点是用户开发定制不方便,受Microsoft公司限制较多。另外体积较大,消耗 10 第二章ARM9嵌入式系统 的资源比较多。 综上对比分析,考虑开发机器视觉系统的实际应用要求,本论文采用Windows CE作为操作系统 并使用Embedded Visual c++作为应用程序开发语言。 2.5本章小结 本章主要介绍了作为视觉测振技术基础的嵌入式系统的硬件平台及操作系统,通过ARM系列微处 理器性能对比分析,决定采用基于ARM9系列的¥3C2410微处理器作为硬件平台核心;同时对市面上 常用的几种嵌入式操作系统进行特点对比,采用Windows CE操作系统,有效提高开发效率。 东南大学硕士学位论文 第三章摄像系统标定与校正 3.1引言 机器视觉的基本任务之一是从摄像机获取的图像信息出发计算三维空间物体的几何信息,并由此重 建和识别物体,而空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系是由摄像机成 像的几何模型决定的,这些几何模型参数就是摄像机参数。在大多数条件下,这些参数必须通过实验与 计算才能得到,这个过程被称为摄像机标定”Mp…。标定精度真接影响着机器视觉的精度,特别是对利 用机器视觉进行检测的应用场合。随着机器视觉应用的不断普及,摄像机标定技术作为视觉系统不可缺 少的前提和基础部分,越来越受到国内外学者的广泛关注。学术界在最近十多年来,对摄像机标定进行 了广泛的研究,特别是成像模型和畸变补偿这两个研究热点,已经取得了一系列成果。有专家指出,摄 像机标定的理论问题己得到较好的解决,对摄像机标定的研究来说,当前的研究工作集中在如何针对具 体的应用问题,采用简便、实用、快速、准确的标定方法。 本章主要介绍了摄像机标定技术的基本理论及常用的标定方法,在此基础上,将根据搭建在嵌入式 系统平台上机器视觉的特点,从精度和速度两方面研究适合本课题的标定方法。 3.2摄像机成像模型 3.2.1常用坐标系 为方便定量描述摄像机的成像过程,首先定义下面四个坐标系。 1.图像坐标系(Pixel Coordinate System) 摄像机采集的图像输入计算机,经A/D转换为数字图像。每幅数字图像在计算机内以数组形式存 储,数组中的每一个元素(像素)的值即是图像点的亮度(或称为灰度。若为彩色图像,则图像的像素 亮度将由红、绿,蓝三种颜色的亮度表示)·如图3-1所示,图像坐标系oo 2n,的原点Oo位于图像平面 的左上角,像素的坐标0,v)的值分别代表该像素在数组中的行数和列数。图像坐标系的坐标是以像素 为单位的。 0 (“。,响) PV 1 ’y 图3—1 图像坐标系与成像平面坐标系 12 塑三兰堡堡至竺堡塞兰堡垩 2.成像平面坐标系(Retinal Coordinate System) 由于图像坐标系只表示像素位于数组中的列数和行数,并没有用物理单位表示出该像素在国像中的 位置,因此需要再建立以物理单位(如毫米)表示图像坐标,称之为成像平面坐标系Oxy,如图3-1 所示。在x—Y坐标系中,原点o(印图像主点坐标)定义在摄像机光轴与图像平面的交点,x,Y分 别平行于Ⅳ,v轴。若D点在图像坐标系中的像素坐标为(‰,vo),办,dy分别为图像平面在x,Y方 向上单位像素间的距离,则两个坐标间的关系可用公式(3.1)表示。 f x r瓦讹 (3|1) i”葛+% 3.摄像机坐标系(Camera Coordinate System) 摄像机坐标系Q置E互是固定在摄像机上的直角坐标系,其原点Q定义在摄像机的光心。Z, l=轴分别平行于成像平面坐标系的x,y轴,五轴与光轴重合,即乙轴垂直于摄像机的成像平面。光 心戮图像平面的距离0◇为摄像枫的有效焦距,。 4.世界坐标系(World Coordinate System) 由于摄像机和物体可以安放在环境中的任何位置,因此还需要在环境中选择一个基准坐标系来描述 摄像机的位置,并用它来描述环境中任何物体的位置,这个坐标系就叫做世界坐标系Q彳。Ezj。这 是一个假想的坐标系,用作一般参考。可根据具体情况来选择。由于它的选取具有随意性,在机器视觉 中遭常以所测物体的中,L,---维坐标系或摄像机坐标系来定义世界坐标系的。 世界坐标系与摄像机坐标系之间的关系可以用旋转矩阵R和平移向量r来描述,它满足: x c X。 E =R 匕 +丁 互 zw (3.2) ‘r2 rs 其中:R= ,=l % 珞 .T= 巧屹吩 3.2.2摄像机成像模型 在机器视觉领域中,三维空间牢物体到成像平面的投影关系B口为摄像机投影模型。理想的投影成像 模型是光学中的透视投影,也称为针孔模型。图3-2所示为针孔模型成像示意图:三维空间物体表面的 反射光通过一个小孔(针孔)而投影在图像平面上。针孔成像由于透光量太小,因此需要很长的曝光时 间,而且很难得到清晰的图像。使用镜头就可以解决这些问题,镜头可以聚集光线,获得清晰的图像。 因此在实际摄像系统中,通常是用透镜代替针孔。这种模型的核心思想是:物点通过透镜成像后,在成 像平面上可找到与之对应的理想像点。 东南大学硕士学位论文 图像 图3-2针孔模型成像示意图 图3-3所示为透射投影模型,如果空间物体上任一点P在摄像机坐标系Q置l乏下的三维坐标为 (.砭,鬈,之),它在成像平面D妙上相应像点p的坐标为(工,Y),厂为理想成像系统的焦距,SUP点在 图像上的成像位置可以用针孔成像模型近似表示,即任何物点P在图像上的投影位置P为投影光心Q 与物点P的连线of同成像平面的交点,这种关系称为中心投影或透视投影,且存在如下关系式 .哺 :,墨 。Z. 杪. =专 由此可见,理想的透镜成像成线性关系。 (3.3) k / ≯ , P《 Z,艺,z,) p门/ x; /仁y) ∥。 ▲y 沙I - \ V 7’ 3.2.3坐标转换关系 图3-3透视投影模型 设空间一物点,,如图3-4所示,在世界坐标系中的坐标为(瓦,匕,z。),它在摄像机坐标系下的 坐标为(.E,I,乙),在成像平面上的像点p的成像平面坐标和图像坐标分别为(x,y)和(“,V),则从 14 乙 图34各个坐标系之间的关系 1.世界坐标系与摄像机坐标系的刚性变换 式(3.2)表达了这种关系,利用齐次坐标与矩阵形式将其转化为: ri 卜杪 1 1l●●J 峨 r.。,.●。L 丘I乏, 1●●●J ^。. 。.L 瓦匕乙● 1●,●●,J h.。.L 瓦匕乙● 1●,●,l●,J (3.4) 世界坐标系与摄像机坐标系之间的转换关系可以用一个矩阵鸩来表示,只要已知^如就可以实现 在两个坐标系间进行坐标的转换。 2.摄像机坐标系到理想的成像平面坐标系的变换 即针孔模型下的理想透视投影变换。由前面的透视投影关系式(3’3)可得: O 们刊 O厂O O● 墨I乏● 1●,●,●,●,J 3.理想成像平面坐标系到图像坐标系的转换 公式(3.1)就表示了这种变换关系,将其用齐次坐标表示即有 X “V = 恤o。 P...L l 1●,●,J P...L 。物。 y ‰%, 1●l●l●J r. .。.L l 综合式(3.4),(3.5)和(3.6),可得: o” (3.6) 15 东南大学硕士学位论文 1/t 0 O 0 ‰ 1/d,Vo O 1 f0 00 0 f 0 0 似∽ O O10 x. a匕 z。 1 X。 X。 E 工0 Uo 0 刁 似妒 0 iv vo 0 K =M.M, 匕 =M 匕 乙 Zw 乙 O O lO 1 1 1 其中 阮=f/as 1工:f/@ (3.7) (3.8) Z,工分别称为横、纵向有效焦距。j%,为内部参数阵,^幺为外部参数阵,M为3x4的不可逆矩 阵,称为投影矩阵,它表征了二维图像坐标与三维世界的坐标系间的基本关系。 3.2.4摄像机的畸变模型 理想的透镜成像可以用针孔模型表示,但实际中透镜并不完全满足这个条件。由于摄像机还存在光 学系统的加工误差和装配误差,因此实际成像与理想的针孔成像之间存在光学畸变误差。主要的畸变有 如下几种: 1.径向畸变 径向畸变主要是由于同轴透镜系统存在缺陷所引起的。存在径向畸变时,像点会相对于理想位置沿 径向偏移。这种畸变一个像点沿径向内缩叫做负畸变,或桶形畸变;沿径向外延叫做正畸变,或枕形畸 变。这种畸变相对于光轴严格对称的,是畸变的主要分量。径向畸变如图3-5所示。 图3.5径向畸变的效果 (实线表示没有畸变的情况,虚线表示有畸变的情况,a代表负畸变,b代表正畸变) 在忽略高阶项情况下,径向畸变可以用下面的表达式表示 f屯=毛x(x2+y2) k:毛y(x:+y:) (3.9) 16 第三章摄像系统标定与校正 其中:七为径向畸变系数。 2.偏心畸变 偏心畸变是由于光学系统的光心与几何中心不一致造成的,即透镜组的光轴中心不能严格共线。偏 心畸变包括径向和切向两个分量,它可以通过使用变焦距镜头方法准确估算光心来克服。 忽略高阶项后,偏心畸变中可以用下面的表达式表示: l屯=Pl(3x2+y2)+2p2xy 1如鸹“3),:。)蝴秒 。·10’ 其中:n,P2为偏心畸变系数。 3.薄棱镜畸变 薄棱镜畸变产生的原因是透镜在设计和制作过程中以及摄像机装配时存在不完善的地方。 忽略高阶项后,薄棱镜畸变可以用下面的表达式表示: f%=墨(x2+),2) 16弦=s:(x:+y2) (3.11) 综合上面三种畸变,则摄像机总的像差模型可以用下式表示: {【未占譬,(Yxy,)’=2k与lYx(x‘2:+iy:2;i’++P(nx22譬2++3y2y):+j2:P。≥砂xy++^h(:x:2i+二y;2)j c、,.…,‘z。, 此时,摄像机的非线性模型为: J铲抖0P∥! 【咒=y+◇(x,Y) @…,,”,7 其中:(Xu,儿)为像素在成像平面坐标系的理想坐标值,(x,y)为实际坐标值。 实际上,在被噪声污染的环境中,(x,Y)是无法被精确检测出。参考文献㈣,可以利用下式来代表 黪【◇篇(x’),=y’/qy篇’:(x。嚣+y擞’2+)+3戊y(yx麓’2竺y'。+)s+小2nx2‘(x。'2::+y。驾) @一Ⅲ 其中:小学√。丁V--”0。(¨)是图像坐标系中像素的实际坐标值。 根据上述的替代关系,摄像机的非线性模型可用下列公式来描述: JIYX’?。引=y_’鲁+毛哆(xll,yI。)) @…。,…, 其中√“号√”2争。 东南大学硕士学位论文 3.3摄像机标定方法 从广义上来分,可将摄像机标定分为三类:传统的摄像机标定法、摄像机自标定法和基于主动视觉 的摄像机标定法。 1.传统的摄像机标定法:该法需要使用尺寸己知的标定参照物(简称为标定物),通过建立标定参 照物上三维坐标已知的点与其图像点之间的对应,利用一定的算法获得摄像机模型的内外参数。标定物 可以是三维的,也可以是二维共面的。在具有三维标定物条件下,只需要一幅图像就可以求出摄像机的 全部内外参数,然而包括整个测量空间的高精密立体标定物,其加工和维护是非常困难的。二维共面点 标定物的加工和维护十分简单,因而得到了极大的发展,但一幅图像不足以标出所有的摄像机参数,因 此必须简化摄像机的模型,或者从不同角度获取多幅图像来同时标出所有的参数,其难点在于获取图像 的不同位置闻的相互关系。传统的摄像机标定法可以获得较高的标定精度,但不适用于那些不能使用标 定物的场合。当要求标定精度高而且摄像机的参数不经常变化时,传统的标定法应为首选。 2.摄像机的自标定法:自标定方法克服了传统方法的不足,它不需要标定物,仅仅依靠多幅图像 对应点之间的关系直接进行标定。由于自标定仅需要建立图像对应点,标定方法灵活性强,潜在的应用 范围广。但是,其算法鲁棒性差。从本质上来说,所有的自标定都只是利用了摄像机内部参数自身存在 的约束,而与场景和摄像机运动无关,这是该法的灵活所在。自标定方法的主要应用场合是精度要求不 高的场合,如通讯,虚拟现实技术等等。 3.基于主动视觉的摄像机标定法:所谓的基于主动视觉的摄像机标定就是指在“已知摄像机的某 些运动信息”的情况下的摄像机标定,它也是一种仅从图像对应点进行标定的方法,不需要标定物,但 需要控制摄像机做某些特定运动,比如围绕光心旋转或纯平移,利用这种运动的特殊性可以计算出摄像 机的内部参数。该类方法的优点是算法简单,往往能够获得线性解,故鲁棒性较高,缺点是系统的成本 高,实验设备昂贵,实验条件要求高,而且不适合于运动参数未知或无法控制的场合。 根据求解非线性成像模型方法的不同,传统的标定法分为如下三类…j: 1.直接非线性求解 直接非线性求解法,先建立标定点的空间三维坐标与图像点坐标的投影关系,然后用迭代算法对非 线性方程求解。 这类方法的优点是可以覆盖所有的像差变形,即可以选定任意的系统误差模型,因而如果提出的估 算模型比较好,而且能够很好地收敛时,可以达至很高的精度;其缺点是需要的计算量非常大,而且由 于采用迭代算法,稳定性差,摄像机的内外参数共有11个或11个以上,如若再引入像差修正参数作为 迭代变量,如果迭代的步骤设计不当,像差参数与相机位置参数相互干扰,很可能导致无意义的解。 2.线性求解法 线性求解法将非线性方程的变量组合成一组新的变量,称之为中间参数,原非线性方程也就转化为 中间参数的线性方程。利用最小二乘法解出中间参数后,再求得原变量的值。 该方法的优点是不需要迭代,标定速度快,缺点是没有考虑摄像机的系统误差,因而不能进行系统 误差的修正。同时由于中间参数间互相存在约束,它的维数大于原参数的维数,加上存在噪声及镜头像 差等影响,使得标定精度不是很高。直接线性变换法就是一种典型的线性求解法,它直接利用共线方程 进行标定,是基于针孔模型的标定。由于这种算法没有考虑镜头的误差,通常精度不高。 3.两步法 如果先利用直接线性变换方法或者透视变换矩阵方法求解摄像机部分参数,再以求得的参数为初始 值,考虑畸变因素,并利用最优化算法进一步提高定标精度,这就形成了所谓的两步法。 Tasi和Weng提出的标定法是两步法的典型代表。在Tsai的标定模型中,仅考虑了径向畸变的影响, 18 第三章摄像系统标定与校正 在误差模型上比较粗糙,精度较低。而在Weng提出的标定模型中,充分考虑了径向畸变、偏心畸变和 薄棱镜畸变的影响,误差修正模型更为全面,精度得到提高。 该方法迭代参数相对于直接非线性求解法来说较少,且能够自动提供较好的初始值,同时又考虑了 镜头畸变的影响,故其具有线性求解法速度快和直接非线性求解法精度高的优点。缺点是由于该方法人 为地将摄像机参数和畸变修正系数的求解分开,而且第二步的求解要用到第一步的结果,两步问要进行 多次重复,增加了一定的运算量。 3.4本文中标定方法 在综合分析现有各种标定方法特点及其应用场合的基础上,本文针对ARM平台的特点,提出了一 种简单有效的,标定精度高的方法。该方法采用Weng’s摄像系统标定与误差修正模型,其特点如下: 1.标定物采用如图3-6所示的平面正交网格板,横、纵方向线条间距均为10mm,标定物是通过 电脑绘制而成,精度高且易于制作和使用。 图3_6正交网格板 2.综合考虑了径向畸变、偏心畸变和薄棱镜畸变,精度较高。 3.实现了全过程的线性标定,完全避免了非线性优化。 4.标定参数全面。 利用网格图像进行标定校正的流程如图3.7所示。 在标定前,对系统作如下调整: 1.调整正交网格板所在平面,使其垂直水平面。 2.调整摄像头,使其主光轴方向尽量垂直于标定平面。 3.调整摄像头,使其成水平状态。 19 东南大学硕士学位论文 提取正交网格节点 上 f利用中部无畸变节点拟合全 f像场,得节点的理想坐标 上 利用中间变量,求 解线性方程 上 分解摄像机内、外参数 0 求解像差畸变系数 图像校正 图3·7摄像系统标定和校正流程图 3.4.1求解的标定模型 1y·+南yt(x。+yn)+P2(x'2+3y'2)+2岛xfy'+s2(Xf2+y'2):要燕 xa+ya)=ijij;i糍 f工t+岛x’x2+y2)+n(sx口+y。+2p2x'y'+sI =;i;生j÷羞酱 Iy’+南y’(x。+y。)+ +2岛 3.4.2拟合标准网格的像场 利用正交网格板来定义世界坐标系,其中,E的方向为水平方向,匕为竖直方向,对于网格上任 一点z:为0。 提取全视场的正交网格节点坐标(“,V)后,即可用它们来拟合标准网格像场。 对于图3-8中网格像场中横、纵方向的直线可表示如下: 』1甜肛j=am++b.6lo (。3’.117) 第三章摄像系统标定与校正 其中:a为相邻两线之间的间隔,%,61为偏移量,i,_,为网格线的标号。 图3-8标准正交网格像场 职图像甲邵区域的七条水半线和l条壅直线,记为: ,(吼bo,61)=∑∑[(豇+60一K)2+(胁+61一%)2] (3.18) =∑∑[(缸+60-v,j)2+(ja+bl一%)2] 分别求偏导数,得3个方程: 誓=2喜喜[∞+60一~)f+(归+61一%M=60肼(1+七)+61,七(1+,) (3.19) +譬[(1+七)(1+2后)+(1+,)(1+2f)]一圭圭2(嘞+,%)=o 去=z骞妻(幻+60—心)=肼(t+t)口+260船一z蔷I善k%=。 (3.20) 普=z否l善k(弦+61一%)=盯(·+,)口+z既材一z骞喜%=。 (3.21) 解方程: AW=B (3.22) 21 东南大学硕士学位论文 ;[(Ji}+1)(2露+1)+(,+1)(2,+1)】 Jj}+1 z+1 其中:A= k+1 2 0 ,+1 0 2 阱W= B=二 船 ,∑一 ;∑Ⅲ O% +弦∥ ) ∑∑% ∑∑% 将两直线方程都解出,可得到网格交点的理想坐标即为直线的交点。 3.4.3求解摄像机参数 将式(3.7)展开,消去互可得: f(“一uo)X.r,+(“一“o)圪珞+(U--U.、z,^+f“,-Uo)t一.瓦art-r,ar2一乙at3一口‘=0v,w, - 1(v—vo)义j吩+(v—v0)瓦%+(1,一1奄)乙,;+(v—vo)t一戈:卢‘一匕卢吩一z。卢%一卢o=o 利用中间变量H21: 绕2Lrl+uor7 q2=Z吃+z%% 吼=工r3+“o,; q4={,。七u{: qs=工,:|+vor7 q6 2如+吒吩 q7=/,r6+V0r9 qs=工,,+Vot: 甄2■ q102 rs 吼12 r9 毋2=t 将中间变量的表达式(3.24)代入式(3.23)可得线性方程 (3.23) (3,24) HQ=0 (3.25) 其中 : ,r K 一 何 l| o 匕O 乙O 匀 0 O “匕 峨呶 0 0 。k O匕 一 O乙 v匕 峨暖 Q=(gl q2 q3 q4 qs q6 q7 qs q9 q,o qll qz2)7。 对于公式(3.25)所示的这个齐次方程,它的解有无穷多组。摄像机参数满足下面两个约束条件 1.且为正交矩阵,因此有下面三个等式成立。 fr72+rs2+r92=I {‘一+吒吩+r3r9=0 I■巧+吩%+屹呜=0 第三章摄像系统标定与技正 (3.26) 嵋 儡 :±—;;::』二一 心 N= ● : 吼 ● √g,2+酊+靠 : (3.27) 玛2 qJ2 在本论文中,q12的符号应为正· 对于式(3.25)的求解只需要一特解就可知全部的解,可先假设已知一未知数的值,求其余未知数, 即得一特解a因为世界坐标系原点定义在被测对象上,t不为0。可假设912=1,对Q求解。再按式(3,27) 求实际的Ⅳ值。 在该假设下,式(3.25)可化为 q1。ll=一g (3.28) 其中ql为H的前11列,q为日的最后l列,Q1为O的前11个变量。 在实际标定操作中,由于节点坐标个数远远大于变量的个数,使得式(3.28)所示方程为超定方程 组。求解超定方程组的最小二乘解,常见下面两种方法: ①将原超定方程组根据式(3.29)转化成线性代数方程组进行求解。 啊。7q1蜴l=一%17口 (3.29) ②直接利用广义逆求解得到最小二乘解为蜴t=一目l+g。 对比这两种求解方法,第①种方法中Hil7ql相当于对原qI进行了乘方处理,求解精度有所下降, 这种方法适合在简单、条件好的问题中使用。而第②种方法是建立在奇异值分解的基础上,所得解可靠。 即使且.的列秩小于11,也能求得利用2一范数定义的极小最小二乘解。考虑到实际情况,为了得到更 精确、更可靠的解,在本论文中采用第②种方法,利用广义逆求解超定方程组。 解得特解后,即可按下面的方法求解各摄像机参数: 令S7=(g】g:93),是7=(吼q。g,),S7=(99 910 ql,),即可将式(3.25)中各系 数矩阵转换成: S?q4 S= s:q; 黟吼: (3.30) 利用公式(3.26)所示的正交矩阵的性质,可分解摄像机内部参数为: Uo=s:S3 vo=s:s3 工=愉-UoS,ll 工--IIs2-vos;ll f‘=(g.一“。91:)/工 {o=(g。-voq,:)肛 【t:2q,2 21 东南大学硕士学位论文 (3.31) (3.32) (3.33) (3.34) (3.35) [i]=cs一“。s)/丘 =(是-roSa)/工 =S。 (3.36) 3.4.4求解畸变误差系数 卜卜赛等糍糍 (3.37) 有畸变的情况下: 卜半 (3.38) 卜等 将式(3.37)和(3.38)代入式(3.15), 并利用已求得的摄像机的位置参数,即可求得畸变误差系 数晟,n,A,最,矗。 3.4.5图像校正 在完成所有参数的标定后,可以根据求得的畸变,对原图像进行校正。 图像畸变校正包括两个步骤,即空间坐标变换和灰度插值。由于对整个图像进行修正计算量较大, 不利于系统的实时性,所以只对提取的目标点坐标进行修正。 在校正图像的过程中,利用前文所述的标定结果进行空间坐标变换时,对图像的几何关系进行了调 整,这时,图像中每个目标点的像素值都发生变化。原始采集图像的坐标值(Ⅳ,v)是整数,经过这些变 第三章摄像系统标定与校正 换后与之对应的坐标(“’,V’)不一定是整数,而非整数的(“’,V’)坐标,在原图上的值厂(“‘,V’)是没有意 义的,即没有灰度值,如图3-9中的A点。为此,需要利用插值来解决计算中出现的非整数坐标像素 的灰度值,即根据原图像上的(“’,V’)点相邻的整数坐标的像素值,内插计算出该点像素值厂(“’,V’), 并将其赋值给A点对应的B点。 图3-9灰度插值示意图 常用到的灰度插值方法有下列3种: 1.最近邻插值 最近邻插值算法中,每一个插值输出像素的灰度值是在输入图像中与其最邻近采样点的灰度值。该 算法的数学表示为: /(x)=厂(以) 吾(以一。+坼)<x<导(坼+%+。) (3.39) 最近邻插值方法是最简单的插值,而且这种算法计算量非常小。 2.双线性插值 双线性插值算法中,每一个插值输出像素的灰度值是它在输入图像中2X2邻域的采样点的平均灰 度值,它利用坐标(”’,V’)周围4个像素的灰度值在水平和垂直两个方向上对其插值。 ,M) (陋1一 I g l (“‘,v’) 1一。 ([“。】,[V ’]+1) p 1-p .1 r ( “‘1. 图3.10双线性插值原理图 如图3·10所示,设【“f】、【V’】分别代表不大于“’、v‘的整数。利用邻域四个采样点(p’】,v’】)、 (【“’]+1,[V’])、(In’】,【V’]+1)、(【“’]+1,Iv’]+1)进行双线性插值计算得厂(“:v’)为 东南大学硕士学位论文 ,(,’】,【V’】)2(1一g){(1一p)×,(【“’],【V’】)+p×厂(!“’]+1,【V’1)1 (,.。。) +9{(1一p)×厂(【“’】,【V’】+1)+p×厂(【“’】+1,【V’】+1)} 双线性插值法相对于最邻近插值法而言,精度更高 但从公式(3.40)上也可以看出,这种算法计 算量较大,程序相对复杂,运行时间长。 3.高阶插值 高阶插值算法中,插值核为三次或三次以上的函数 它的效果比晟近邻插值和双线性插值效果好 精度更高,但相应的计算量更大。 为了减少计算量,提高标定的速度,在图像校正时,采用最近邻插值进行灰度插值。 实验采集的原始图像如图3-11所示,在网格边缘处可见明显畸变。图3.12是用标定参数对其进行 修正后的无像差图像,可见,经过校正后,图像的几何失真得到改善,能满足系统要求。 图3-11原始采集图像 图3.12校正后图像 3.5本章小结 本章利用采用Weng’s摄像系统标定与误差修正模型,根据课题应用的要求,采用平面正交网格板 作为系统的标定物,利用分步法,通过提取正交网格节点、拟合全像场坐标、利用中间变量替换求解坐 塑三童量堡墨堑塑塞兰堡里 标转换关系的方程、分解内、外参数等步骤实现了对摄像系统的标定和图像的校正。实验证明,对于该 系统而言,采用该方法具有良好的效果,具有较高的精度,能满足本课题的要求。 东南大学硕士学位论文 第四章图像处理及检测识别 4.1引言 在本课题中,利用机器视觉进行振动检测的流程如图4-1所示。 图像获取 土 图像预处理 上 图像分割 上 提取目标 上 提取特征量 0 检测识别 图4.1 机器视觉检测的工作步骤 在图像获取的过程中,不可避免会受到外界于扰和随机噪声的影响,使得得到的图像信息通常是带 有各种噪声的。这样的图像信息是无法进行检测识别的。因此,在系统处理前,必须对所获取的图像进 行预处理,滤除各种干扰的影响,抑制背景噪声。 为了正确识别出物体,需要进行图像分割。图像分割是指将图像分成各具特性的区域并提取感兴趣 目标的技术和过程。图像分割将被测物体从复杂背景中分离出来,有利于对物体进行目标提取和识别。 目前图像分割的方法主要有两大类:基于边缘的分割方法和基于区域的分割方法。其中,基于边缘的分 割方法是利用不同区域间像素灰度不连续的特点检测出区域间的边缘,从而实现图像分割;而基于区域 的分割方法是利用区域内特征的相似性将图像划分为一系列有意义区域。 提取特征量是指提取出不随被目标大小、方向、平移、旋转、缩放以及图像亮度和对比度等因素变 化而变化的某些特征。常用的特征量有角点、形心、周长、表面积、惯量矩等。在实际应用中,可以根 据被测对象的实际情况进行特征量的选取,从而利用其进行目标的检测和识别。 本章将详细介绍在论文中涉及到上述图像处理及检测识别工作,并分析了相应的算法。 4.2 BMP图像文件及RGB565格式 实现视觉测振技术的嵌入式系统是通过开发板上指定的USB摄像头实时采集图像。该摄像头采用 OV51l+芯片组,分辨率为320×240,采集的图像为RGB565格式。本节先对BMP图像文件及RGB565 格式进行简单介绍。 4.2.1 BMP图像文件 第四章图像处理及检测识别 在计算机中,数据是以文件形式存储在外存储器中,图像数据也不例外。图像文件就是以数字形式 存储起来的图像。为了方便读写,图像数据一股以一定的文件格式存放,常见的有BMP、GIF、JPEG、 PNG、PCX、TIFF等。其中,BMP(Bitmap的缩写)是一种比较简单的、在Windows上用得最多的文 件格式。 BMP文件可以用每像素1、4、8、16、24或32位来编码颜色信息,这个位数称为图像的颜色深度, 它决定了图像所含的最大颜色数。颜色的数量越多,所表现的图像内容就越生动、越逼真。 一个典型的BMP文件包含4个主要的部分:BMP文件头,BMP信息头、调色板和像素数据,如 图4.2所示。 B加)文件头 Bn伊 信 息 Bh伊信息头 调色板 像素数据 图4-2 BMP图像文件结构 1.BMP文件头 BMP文件头使用一个数据结构BIn诅PFILEHEADER来表示,它包含BMP文件的类型、文件大 小和位图数据的起始位置等信息,如表4.1所示。 数据类型 WORD DWORD WORD WORD DWl3}RD 表4.1 标识符 bfType btSize bfReservedI bfReserved2 bfO髓its BMP文件头结构 内容 BMP文件的类型,必须为字符“BM” 13MP文件的大小(以4字节为单位) BMP文件保留字,必须为0 BMP文件保留字,必须为0 位图数据起始位置,以字节为单位 2.BMP信息头 BMP信息头是由一个数据结构BITMAPINFOHEADER来表示,它说明了位图的尺寸、颜色深度等 信息,如表4.2所示。 数据类型 DWORD LONG LONG WORD 表4.2 标识符 biSize biWjdth biHeight biPlanes BMP信息头结构 内容 本结构占用的字节数。为40字节 图像的宽度,以像素为单位 图像的高度,以像素为单位 目标设备的平面数,必须为1 WORD DWORD DWORD LoNG LONG DWORD DWORD 东南大学硕士学位论文 biBjtCotmt biCompression biSizelmage biXPelsPerMeter biYPelsPerMeter biCIrUsed biClrlmportant 表示每个像素所需的位数 图像的压缩类型 图像的大小,以字节为单位 图像水平分辨率,每米像素数 图像垂直分辨率,每米像素数 位图实际使用的调色板中的颜色数 位图显不过程中重要的颜色数 BITMAPINFOHEADER结构中一些重要成员说明如下: (I)biWidth 图像的宽度,以像素为单位。如果位图数据是压缩的,则指定解压后的图像宽度。 @)biHeight 图像高度,以像素为单位。如果位图数据是压缩的,则指定解压后的图像高度。如果biHeight的值 是正的,说明位图数据是从下往上扫描的;为负,则说明位图数据是从上往下扫描的。 ③biBitCount 表示每个像素所需的位数,必须是0(可能是压缩数据)、1(2色)、4(16色)、8(256色)、16 (最多2”色,称为高彩)、24(224色,称为真彩)、32(最多2“色)。其中,1、4、8位的需要用到调 色板;16位时,如果biCompression成员的值为BI RGB,则是RGB555的格式,如果biCompression 成员的值为B1 BITFIELDS,则BITMAPn师O旺ADER结构后面必须跟着用于提取RGB分量的屏蔽字 (3个DWORD类型的常量),图像的具体格式可能是RGB555、也可能是RGB565;24位时,每个像 素使用3个字节表示,字节顺序是BGR;32位时,每个像素使用4个字节表示,字节顺序是BGRA, 其中A为不用的字节或表示Alpha通道值。 @biCompression 位图的压缩格式可以是BI RGB、BI RLE8、BI BITFIELDS、BI JPEG、BI PNG等。 3.调色板 调色板用于说明位图中使用的颜色,它有若干个表项,每一个表项都用一个RGBQUAD数据结构 (占用4个字节)定义一种颜色。RGBQUAD结构的定义如表4.3所示。 数据类型 BYTE BYTE BYTE BYTE 标识符 rgbBlue rgbGreen rgbRed rgbReserved 表4.3调色板 内容 蓝色分量(取值范围0-255) 绿色分量(取值范围0-255) 红色分量(取值范围0-255) 保留字 调色板中RGBQUAD结构的格数由biBitCount的值来确定:当biBitCount等于l、4、8时,分别 有2、16、256个表项;当biBilCount等于16、24、32时,表项格数为0,即不使用调色板。 BMP信息头和调色板组成位图信息。 4.像素数据 像素数据记录了位图的每一个像素值。对于用到调色板的位图,像素数据就是该像素值在调色板中 对应的索引值;对于高彩和真彩色图,像素数据就是实际的R、G、B分量值。 4.2.2 RGB565格式 RGB(Red,Green,Blue)是在三基色理论基础上开发的相加混色颜色空间,如图4-3所示。 30 第四章图像处理及检测识别 图4.3 RGB颜色空间模型 根据RGB三基色理论,各种颜色光都可以由红、绿、蓝三原色相加混合而成。 F=r【R】+g[G]+b[B】 其中,r、g、b分别为三基色参与混合的系数。当三基色分量都为0(最弱)时混合为黑色光;而当三 基色分量都为k(最强)时混合为白色光。调整r,g、b三个系数的值,可以混合出介于黑色光和白色 光之间的各种各样的色光。 常见RGB格式有RGBl、RGB4、RGB8、RGB565、RGB555、RGB24、RGB32等。在本论文中使 用的USB摄像头是RGB565格式。RGB565使用16位表示一个像素,这16位中的5位用于R,6位用 于G, 5位用于B,所以称为“565”。在对RGB565格式进行图像处理时,常使用一个字(WORD) 来操作一个像素。当读出一个像素时,这个字的各位意义如下 高字节 低字节 R RRRRGGG GGGBBBBB 当BMP图像文件采用RGB565格式时,在BITMAPINFOHEADER结构中,biBitCount必须设置为 16,biCompression设置为BLBITFIELDS,而且BIn舱Pn岬OHEADER结构后面设置了提取各颜色分 量的屏蔽字,其中Red对应的屏蔽字为OxF800,Green对应的屏蔽字为0x07E0,Blue对应的屏蔽字为 0x001F。 对于采用RGB565格式的BMP图像文件,不使用调色板,屏蔽字后面的数据就是像素数据。 4.3图像预处理 在图像的生成、传输或变换中,由于受到光照和随机噪声的影响,输出图像的质量会有所降低,因 而需要通过图像增强、噪声滤除等工作来改善图像质量,以便于后续图像的处理和分析。基于上述原因, 进行图像预处理工作是非常有必要的。作为机器视觉系统中不可或缺的组成部分,图像预处理能消除图 像中无关的信息,恢复有用的真实信息,增强有关信息的可检测性并简化数据,从而改进特征抽取、图 像分割、匹配和识别的可靠性。 图像预处理工作可以在空间域和频率域内进行。基于空间域的预处理方法是在原图像上直接进行数 据运算,被操作数是像素的灰度值,常用的方法有图像锐化、邻域平均滤波、中值滤波等。基于频率域 的预处理方法是建立在修改图像傅立叶变换基础之上,对感兴趣的频率分量进行处理,然后将修改后的 傅立叶变换值再做傅立叶逆变换,从而得到处理后的图像,常用的方法有低通滤波、高通滤波、同态滤 东南人学硕士学位论文 波等。由丁.频率域的处理需要进行两次转换,与空间域相比.需要更多的处理时间,而且处理的过程不 直观。所以.在本论文中选取空间域进行图像预处理。 本课题针对图4-4所示幽像,将分别用前文提剑的图像锐化、邻域平均法、中值滤波法进行处理效 果对比,然后再确定在课题中相关的视觉检测技术最终采用的图像预处理方法。 4.3.1图像锐化 图4-4原图 的图像。常用的图像锐化的方法有微分法。根据阶次,可以将微分锐化方法分为两类:拉普拉斯算子锐 化和梯度算子锐化。本论文中,利用拉普拉斯算子进行锐化效果分析。 设图像第f行,第_,列的像素灰度值表示为厂(f,,)。 拉普拉斯算子是二阶微分箅子,其数学表达式为: V2厂=睾+軎 ㈠。 对于离散数字图像,需用差分形式来代替式(4.I)中的微分。即二阶偏导数为: j 8皂2f:一:(f+1,/)+/o一1,,)一2厂(‘/) (4.2) l睾=外小1)+朋≯1).2,(“) 因此,数字图像锐化处理的拉普拉斯算子如公式(4.3)所示: V2厂=[厂(f+l,/)+厂O一1,/)+/(f,,+1)+厂(f,,一1)3—4f(i,,) (4.3) 经过拉普拉斯算子锐化后的图像g(f,_,)应为: g(f√)=/(f,j)-V2厂(f,,) =fq,/)一{If(i+1,j)+f(i-1,/)+,(f,,+1)+厂(f,,一1)l一4f(i,,)l (4.4) =5f(i,,)一[厂(f+1,.,)+,(f—I,,)+厂(f,,+1)+厂(f,_,一1)] 在寞际应用中,除了公式(4 3)定S/.的拉普柑斯算子,还常用到如式(4.5)所示的镩子: 第四章图像处理发柃测识别 V2厂2[厂(‘一1,j-1)+f(i一1,/)+,(‘一1,/+1)+厂(!j-1) (4.5) +厂(f,,+1)+/(f+l,,一1)+厂(f+l,/)+厂(f+1,,+1)]一Sf(i,/) 利用式(4.5)所示的拉普拉斯算子锐化后图像为: g(f,,)=厂(f,j)-V2厂(f,/) =9f(i,j)-Ef(i-1,j-1)+f(i一1,,)+/(f一1,歹+1)+,(f,歹一1) (4.6) +厂(f,,+1)+厂(f+l,,一1)+厂(f+l,.,)+厂(f+1,/+1)] 可见,对图像作拉普拉斯运算,实际上相当于是对像素/(f√)为中心的3X3邻域作卷积变换,结 果赋予/(j,J)a公式(4.3)和(4.5)对应的卷积核如图4-5所示。 0—1 0 1 1 —1 5 —1 3 0—1 0 —1—1—11 —1 9 —1 —1j 一1 —1 图4-5常用的拉普拉斯算子对应卷积核 图4-6所示为利用上述两种拉普拉斯算子进行图像锐化后的效果图,从图中可以看出,锐化增强了 图像的边缘,而且利用公式(4.5)所示拉普拉斯算子进行锐化效果比利用公式(4.3)所示算子更显著。 但是,由于锐化是通过增强高频分量来减少图像的模糊,而高频情况下容易产生噪声,因此,图像锐化 的同时也增加了图像的噪声。 (a)公式(4.3)所示算子效果 (b)公式(4.5)所示算子效果 图4-6图像锐化效果 4.3.2邻域平均法 邻域平均法是一种常增的图像平滑滤波的方法,其基本思想是将每个像素的灰度值用它所在邻域 (又称窗口)内像素的平均值来代替。设一幅Ⅳ×N个像素的图像/(f,J),邻域平均后得到的图像为 g(i,,),则有 东南丈学硕』:学位论文 嘶)2瓦1。磊。砌,n) (4.7) 其中,f,J=o,1,…,N-1;s是(j,/)点邻域中点的坐标集合,但其中不包含(f,/)点;M是集 合内坐标点的个数。邻域平均法的特点是算法简单,速度快。 图4-7所示为五种常用的进行邻域平均的模板,其中Hi、马、H5是取8一邻域(即方形窗口) 进行运算,H2、H4是取4一邻域(即十字窗口)进行运算。利用Hi和最模扳进行的是标准的像素 平均;利用H3、凰模板则进行的是加权平均,这是为了强调中心点的作用;而利用H5模板则忽略了 中心点的作用,直接用邻域像素的灰度值进行运算得到中心点的新值。 1 1 1] 010 l以:三 1 1 1 1 11 毕; iJ_ 1 1 0 10 恐=击 i{i] 0 1 ol 耻; 1 2 1 o 1 oI 乜;! ’ 8 图4.7常用平滑模板 图4-8为利用上述五种模板进行邻域平均的效果对比。从图上可以看出,尽管利用不同模板时平滑 效果有明显差别,图像的噪声在不同程度上得以消除或衰减,但同时各图像均变得比处理前模糊了,特 别是图像边缘和细节部分。这是利用邻域平均进行幽像平滑不可避免的缺点。 (a)Hl模板效果 (b)H2模板效果 34 第叫章图像处理及枪铡识别 (c)H3模板效果 (d)H4模板效果 (e)H5模板效果 图4-8不同平滑模板的邻域平均效果 4.3.3中值滤波法 中值滤波是一种去除噪卢的非线性信号处理方法。由于它在实际运算过程中不需要知道幽像的统计 特征,因此使用比较方便。中值滤波最初是应用在一维信号处理技术中,后来被二维的幽像信号处理技 术所引用。它的基本原理是把数字剧像中一点的灰度值用该点的一个邻域中各像素亮度值的中值代替, 其数学表达式为: g(i,j)=med{f(i,烈 (4.8) 其中,一表示滤波窗口。 中值滤波的关键在于选择合适的窗口。窗口的形状和尺寸对滤波效果影响较大,在实际应瑚中往往 需要根据图像内容和应用要求来选择不同的窗口形状及尺寸。中值滤波常用的窗口有线状,正方形、圆 形、十字形等。窗口尺寸一般先用3。再取5,逐渐增大,直到滤波效果满意为止。过大的窗口尺寸会 造成处理时间过长。一般来说,对于有缓变的较长轮廓线物体的图像,常采用方形或圆形窗口;对于包 含有尖角物体的图像,宣采蹦十字形窗口。对于点、线、尖角细弼受多的图像,则不适宜采Hj中值滤波。 图4-9所示为采用3x3方形窗口进行中值滤波的效果。通过与图4-8对比,可看出:相对于邻域 平均,中值滤波方法最大优势在于它不仅能消除脉冲干扰平u孤立噪声,而且同时能够比较好的保留边缘 的锐度和图像的细节。 35 东南大学硕卜学位论文 图4-9中值滤波效果 通过上述三种预处理方法的效果对比,结合系统的实际情况。在本论文中,最终确定采_l{j中值滤波 方法对采集的幽像进行预处理。 由于中值滤波需要对窗口中各像素的灰度值进行排序,因此其运算速度较慢。为满足系统的实时性, 参考文献145】【拍114”,在进行中值滤波时,本文采gl如7"快速算法,提高了运算速度。 一幅M×N的图像用矩阵表示为: lⅥ;N= s(o,0) S0,0) : s(o,1) s0,1) ; s(o,N一1) sO,N-1) S(M-1,0)厂(M一1,1)…S(M一1,N一1) 滤波时采用的是边长为D的方形窗口,中心像素位于(f,/),将其记为w(i,_,),D为奇数。 s(i一(D-I)12,j-(O-1)12) … s(i一(D-1)12,歹+(D一1)/2)l … 厂(,,J) … } f(i+(D-1)12,I-(D一1)/2) … /(f+(D一1)/2,,+(D一1)/2)l 中值滤波的结果是将f(i,,)用D2个像素的中值代替。窗口移动顺序是扫描线顺序,从上至下逐 行移动,每行内部又是从左至右逐列移动。为了能够在窗口移动过程中能利用之前的信息,现将窗口中 各列分别排序。将每个排好序的列看成一个D×l的向鼙,整幅图像共有|v个向鼙。窗口在鞋幅图像的 第一行移动时,向量初始建立,每右移一列就新纳入一列像素,用传统排序方法将之排序;从第二行开 始,每列像素相比于上一行同列己排序好的向量只相差一个值。从原向苗删除旧值。再插入新值即完成 了向鼋的更新。 将一个窗口以其中值为界,将各个向量的元素都分成了小于中值和大于等于中值两部分,如图4一lO 所示。各列都是从上至下为升序的向量,实线为分界线,它代表了一个分界值,实线上方的值都小于分 界值,实线下方的值都大于等于分界值。将边界上小于分界值的点的集合记作艿l。大于分界值的边界 点集合记作及。 第四章图像处理及检测识别 图4-10窗口内部分界线 当下方像素个数刚好比上方像素个数多1时,那么垦中最小的值即为整个窗口的中值;当上方像 素个数刚好比下方像素个数多l时,那么旦中最大的值即为整个窗口的中值。查找中值的过程就是调 整边界使得上下方数目仅差1的过程。 若上方数目过多,则需要将上方的像素下移。为保持上下两部分像素严格的大小关系,因此每次只 能移动一个像素,即将尽中最大的值下移,分界线在此向量中上移一位。这样每次下移一个值,宜到 上方数目刚好比下方多1。若下方数目过多,调整的方法类似。窗口右移时,将最左边的向量去除,其 余各向量及其分界线位置保留。新移入最右边的向量用前一个窗口的中值作为分界值,定出其分界线位 置。 假设当前窗口为w(i,,),其左边和上边相差一个像素位置的窗口为w(i,J—1)和W(i-I,J)。对 w(i,,)来说,w(i,J一1)和∥(f一1,J)的信息是己知的,可充分利用。除了最上的一行和最左的一列, 其他窗口要完成的工作有: I.更新最右列的向量,实质上是删除有序数列一个值再插入~个值。 2.以上一个窗口∥(,,j-1)定出最右边向量的分界线位置。 3.调整分界线直至找到中值。 快速算法的程序流程图如4.11所示。 37 东南大学硕士学位论文 图4.1l 快速中值滤波算法流程 4.4图像分割 在本论文中,被测对象是运动的。目前,针对运动目标的检测方法有很多,常用的有: 1.光流法 当摄像机与场景目标间有相对运动时所观察到的亮度模式运动称为光流(opticalflow,imageflow), 或者说物体带光学特征部位的移动投影到图像平面上就形成光流。光流表达了图像的变化,它包含了目 标运动的信息,可用来确定观察者相对目标的运动情况。光流法的基本思想是通过计算出光流场来模拟 运动场。光流与运动场虽有密切关系但又不完全对应。场景中的目标运动导致图像中的亮度模式运动, 而亮度模式的可见运动产生光流。在理想情况下光流与运动场相对应,但实际中也有不对应的时候。换 言之,运动产生光流,因而有光流一定存在着运动,然而并不是有运动就必定有光流。研究光流场的目 的就是为了从序列图像中近似计算不能直接得到的运动场。 第四章图像处理及检测识别 光流场理论中存在孔径问题,需要引入其他的附加约束才有可能唯一确定光流场。典型的方法有: Honr--Schunck方法、最小二乘方估计法、聚类方法等。这些方法都是通过数值计算得到时空导数。在 实际情况中,由于噪声的存在,这些方法具有一定的局限性,加上大多数光流法运算复杂,若没有特定 硬件的支持一般难以满足实时处理的需求。 2.相邻帧差法 相邻帧差法是利用两帧图像亮度差的绝对值来分析视频或图像序列的运动特性,确定图像序列中有 无物体运动。帧差法对噪声特别敏感,因而需要对图像序列进行滤波。 3.背景减法 背景减法是图像处理领域最简单而常用的方法之一,有着广泛的应用。这种方法先计算当前帧和设 定的场景模型的特征值差,然后通过比较特征值差和设定的阈值来判断是否有运动的发生,若差值大于 阅值则存在运动反之则不存在运动。应用背景减法的一个前提是背景在一段时间内是稳定的。其关键技 术是如何获取背景。 上述三种方法虽然各有特点,但在应用中均需要采用两帧或两帧以上的图像进行计算,运算量很大, 对于本课题所采用的ARM平台而言,是不太适合的。为了减少计算量,提高系统实时性,本文采用传 统的图像分割的方法,将被测物体从复杂背景中提取出来,从而简化图像处理工作。 图像分割”5114w是将整个图像区域分割成若干个互不交叠的非空子区域的过程,每个子区域的内部 是连通的,同一区域内部具有相同或相似的特性,这里的特性可以是灰度、颜色、纹理等。图像分割的 数学描述如下: 设集合五代表整个图像区域,P(·)是区域上相似性测量的逻辑准则,对R的分割就是把R分成 满足下列条件的非空子区域置,R2,…,局: ①U冠=R; f11 ②对于所有的f和-,,f≠,,有足NRj=o; ③xCT-i=1,2,…,丹,有P(置)=TRUE; ④对于f≠_,,有尸(E u巴)=FALsE ⑤对于f=1,2,…,珂,冠是连通的区域。 条件①说明分割必须是完全的,分割所得到的全部子区域的总合应能包括图像中所有像素,即每个 象素必须属于一个区域。条件②说明不同区域必须是不相交的。条件③涉及到分割区域内的象素必须满 足的性质,例如,如果所有R内的象素的灰度级的差值在允许范围内则P(R)=TRuE。条件④说明区 域足和R.对于逻辑准则P是不同的。最后条件⑤要求区域中的点必须与某个定义域的准则相联系。 图像分割的方法有很多种,基本都可以归为两大类:基于边缘的分割方法和基于区域的分割方法。 本节先对两种分割方法进行效果对比,然后引出在本论文中使用的分割方法及具体实现步骤。 4.4.1基于边缘的分割 图像的边缘包含了丰富的内在信息,是图像检测识别中重要的图像特征之一。基于边缘的分割方法 就是利用不同区域间像素灰度不连续的特点检测出区域间的边缘,从而实现图像分割。 边缘检测是进行分割的第一步。实现边缘检测的基本方法是通过边缘检测算子与图像做卷积运算。 39 东南大学硕士学位论文 常用的边缘检测算子有Sobel、Roberts等。 1.Sobel算子 Sobel边缘检测是一种数学背景复杂但实现较为简单的技术。图4.12所示的两个卷积核形成了Sobel 边缘算子,图像中的每个点都用这两个核做卷积。一个核对垂直边缘相应最大,而另一个对水平边缘响 应最大。两个卷积的最大值作为该点的输出位。运算结果是一幅边缘幅度图像。 一1 —2 —1 0 1 00 12 —2 0 2 —1 0 1 图4.12 Sobel边缘检测算子 2.Roberts算子 Roberts边缘检测算子是利用局部差分算子寻找边缘的算子。它由下式给出 g(f,,)={[/(f,,)一厂(f+1,J+1)]2+[/(f+1,,)一厂(f,J+1)]2}2 (4.9) 图4-13是在复杂背景和简单背景下利用上述两种边缘检测算子进行边缘检测的效果对比图。在复 杂背景下,被测物体的边缘与背景上边缘具有比较明显的形状区别,可以利用这点将被测物体和背景进 行区分。但是,边缘检测得到的边缘连续性并不是特别好,从图上可以看出,在某些地方甚至出现模糊、 断断续续的现象,还需要进行相应的边缘连接工作才能得到完整的边缘轮廓。这样既增大了处理的难度, 又影响了嵌入式系统的实时性。 4.4.2基于区域的分割 基于区域的分割方法是利用区域内特征的相似性把图像划分为一系列有意义的区域的处理方法。常 用的基于区域分割的方法有阈值法、区域生长和分裂合并法、聚类分割法等。 阈值法是一种最常用的并行区域技术,阈值是用于区分不同目标的灰度值(亮度值)。这个方法是 将图像中每个像素的灰度值(或亮度值)与阈值进行比较,大于阈值的像素归为一类,小于阂值的像素 归为另一类。闽值分割的结果依赖于阈值的选取,确定阈值是阈值法分割的关键。利用阈值进行的分割 实质就是按照某个准则求出最佳阈值的过程。这种分割方法的优点是计算简单,运算效率较高,速度高。 区域生长的基本思想是将具有相似特性的像素集合起来构成区域。首先为每个需要分割的区域确定 一个种子像素作为生长起点,然后按一定的生长准则把它周围与其特性相同或相似的像素合并到种子像 素所在的区域中。把这些新像素作为种子继续生长,直到没有满足条件的像素可被包括,这时生长停止, 一个区域就形成了。区域生长法要解决的主要问题是区域生长准则的设计和算法的高效性。生长准则往 往和具体问题有关,直接影响最后形成的区域,如果选取不当,就会造成过分割和欠分割的现象。区域 生长法的优点是计算简单,对于较均匀的连通目标有较好的分割效果。它的缺点是需要人为确定种子点, 对噪声敏感,可能导致区域内有空洞。另外,它是一种串行算法,当目标较大时,分割速度较慢。分裂 合并法的基本思想是从整幅图像开始通过不断分裂合并得到各个区域。分裂合并法的关键是分裂合并准 则的设计。这种方法对复杂图像的分割效果较好,但算法较复杂,计算量大,分裂还可能破坏区域的边 界。 聚类法进行图像分割是将图像空间中的像素用对应的特征空间点表示,根据它们在特征空间的聚集 对特征空间进行分割,然后将它们映射回原图像空间,得到分割结果。这种分割方法的缺点是无法利用 图像数据的空间结构信息,缺乏对像素空间拓扑关系的考虑。 由于被测物体具有特定颜色,与背景具有明显差别,从系统应用的实际出来,本论文选择基于区域 分割方法中的阈值法,而且为了充分利用被测物体的颜色特性,采用颜色阈值进行分割。 第四章图像处理及榆测识别 (a)复杂背景F原始图像 (b)简单背景下原始图像 (c)复杂背景F Sobel算子提取边缘 (d)简单背景’F S01)el算子提取边缘 (e)复杂背景下Roberts算子提取边缘 (f)简单背景下Roberts算子提取边缘 图4.13不同背景下边缘检测效果 4.4.3颜色闽值分割 颜色闽值分割的关键在于闽值的选取。USB摄像头采集的图像是RGB彩色图像。从前文RGB颜 色空间的定义可知,该颜色空间是与设备相关的,视觉对颜色的感知是非线性的,而且颜色的指定并不 直观,R,G.B三分量之间存在很强的相关性。直接利用该空间进行颜色闽值分割需要测定R、G、B 三分量的闽值,这样计算餐较大,而且在实际操作中,由于环境因素的影响,往往不能达到所需效果, 因此需要寻找其他的颜色空间进行转换。 除了RGB这类混合型颜色空间.常用的颜色空间还有: 4l 东南大学硕士学位论文 1.非线性亮度/色度型颜色空间,如Yuv、L*a*b、L*u*v等。这种空间用一个分量表示非色彩的 感知,用两个独立的分量表示色彩的感知。当需要黑白图像时,这样的系统非常方便。 2.强度/饱和度/色调型颜色空间,如HIS、HSL、LCH和HSV空间等,这种空间用饱和度和色调 描述色彩的感知,可使颜色的解释更直观,而且对消除光亮度的影响很有用。 由于系统进行颜色分割时利用的是颜色信息,因此应该选择强度/饱和度/色调型颜色空间。同时考 虑到空间转换算法的复杂度和系统实时性要求,通过查看资料对比,本论文中选择利用HSV空间进行 颜色阂值分割。 HSV空间是根据颜色的直观特性,由A.R.Smith在1978年创建的一种非线性色彩表示系统,其 空间模型如图4.14所示。 (n0一l口) 图4.14 HSV颜色空间 S (旺0一l 0) 在这个颜色空间中: 色调H:用角度度量,代表颜色的种类,由绕v轴的旋转角给定,从红色开始按逆时针方向计算。 红色对应于角度0。,绿色对应于角度120。,蓝色对应于角度240。。 饱和度s:纯色程度的量度。 亮度v:与光的辐射功率有关,表示某种颜色的光对人眼所引起的视觉强度。 在HSV空间中,各个分量是相互独立的,对于同一颜色的物体,具有比较稳定的数值变化范围。 因此,利用HSV空间能方便地进行分割处理。 目前,从RGB空间到HSV空间的转换算法有很多。在R、G、B三分量取值范围相同时,各算法 效果差异不大。由于系统中采集的图像为RGB565格式,R、G、B三分量用不同位数表示,取值范围 有所不同,因此在进行转换时需要合理选择算法,精确计算阂值,达到理想效果。 经过多次实验效果对比,本论文确定采用如图4.15所示算法。 第四章图像处理及榆测识别 图4.15 RGB空间剑HSV空间转换算法 对被测物体颜色的HSV分量进行直方图分析,如图4.16所示。 饱和度直方母 强度直方囤 图4.16被测物HSV分量直方图统计 从直方图中可看出,对同一颜色属性的物体,色调H具有比较稳定和较小的数值变化范围,非常 东南大学硕{。学位论文 适合作为图像分割的依据。但当亮度v非常小的时候㈣,H的值将趋向不稳定。因此,单独J}】H分量 进行|璺I像分割效果不稳定。在本论文中,采_}}j色度H和饱和度S两个分量结合作为闽值分割的依据。 在图像分割时,采用的是离线学习、人机交互的方式。先采集被测物体静态时的图像,然后在图像 上把铍测物体选择出来,将该局部彩色图像转换剑HSV空间,对其H、S两个分量求得闽值。计算出 颜色闽值后,图像采_l}J如下函数式进行变换。 厂㈣s):J 0 Ht<H<Hh,s<艮sh 。、。7 。0FFFFH else (4.10) 其中:.厂(H,s)是像素关于H、s两个分量的函数,目,H。为色调H的上下闽值,S,鼠为饱和度 S的上下阂值。 通过理论分析和实验对比可知,为了达剑良好的分割效果,被测物体着色表面麻具有良好的漫反射 性,因此,在进行颜色分割前需对被测物体的着色表面进行“粗糙化”处理,改善其反射特性。图4.17 为处理后利用HSV空间在简单颜色背景’F进行颜色蚓值分割的效果,由图可见,在背景颜色和被测物 体颜色差别很大时,利用HSV空间进行图像分割能得剑较好的效果。 图4—17简单颜色背景时分割效果显示 4.5数学形态学的应用 颜色闽值分割后的图像虽然显示了被测物体的大致位置及形状,但边缘部分仍存在许多小的空洞和 凹陷。为了提高机器视觉检测的准确性,有必要利用数字形态学对颜色闽值分割后图像进行处理。 数学形态学是以形态结构元素为基础对图像进行分析的数学工具,其基本思想是用具有一定形态的 结构元素去度量和提取图像中的对应形状以实现对图像的分析和识别。数学形态学的应用可以将图像中 复杂的形状进行简化和分解、并将有意义的形状分赞从模糊的信息中提取出来。 数学形态学首先被_|}j米处理二值图像,其基本理论为二值形态学。后来发展到用于灰度图像,产生 了灰度形态学。由于颜色闽值分割后的图像直接进行了二值化,因此,在针对该图像进行处理时,采用 的是二值形态学理论。 数学形态学的数学基础和所Hj语言是集合论,由一组形态学的代数运算子组成,其基本运算有4 种:膨胀、腐蚀、开和闭。设/(z,Y)是原始二值图像,B(i,J)是结构元素: 1.膨胀 (/oB)(工,Y)=max{I(x—f,Y一/)+B(f,,)} (4.11) 2.腐蚀 (厂oB)(x,Y)=min{f(x+i,y+j)-B(i,川 (4.12) 第四章图像处理及检期B识别 膨胀和腐蚀的几何意义可以用图4—18来说明。当结构元素B(f,_,)沿图像厂(x,Y)的外边缘移动时, 结构元素中心移动轨迹所包围的区域就是膨胀的结果;反之,当结构元素沿图像的内边缘移动时,结构 元素中心移动轨迹包围的区域就是腐蚀的结果。所以,膨胀具有扩展图像的功能,而腐蚀具有收缩图像 的功能。 ………一 I I L—.———————————————— / 膨胀 结构元素 图4-18二值膨胀和腐蚀示意图 腐蚀 3.开 f oB=U固B、9B 4.闭 f·B=(/oB)oB 开和闭的几何意义可以用图4一19来说明。 :一l 厂……一一一一l r——————————————] I I I (4.13) (4,14) _/ 开 图4—19二值开和闭示意图 形态开、闭运算对图像具有独特的平滑滤波作用,其中开运算可以抑制边缘上的毛刺(凸起部分), 截断细窄的连接带(瓶颈部分),分离接触区域,消除比结构元素小的孤点、碎线和斑块,并使图像的 内边缘平滑。闭运算可填补边界上的凹陷部分,具有弥合裂缝、填充小洞和小孔等功能,并使图像的外 边缘得到平滑。在形态滤波中,开、闭运算在滤除噪声斑点或填补空洞的同时,能够完好地保护特定的 局部特征。由于这些特点,使其在图像处理中得到了广泛而有成效的应用。 图4.20(a)所示为颜色阂值分割后的图像进行二值化的结果。很明显,边缘部分非常模糊,还存 在不少毛刺和噪声。(b)为进行闭运算之后的图像,相比原始图像,闭运算使图像边缘得到平滑,边界 上的凹陷和小孔也得到一定的填补,图像效果得到了改善。 东南大学硕士学位论文 ■■ (a)原二值化图像 (b)闭运算后效果 图4.20闭运算效果对比 二值化图像经过闭运算后,就可以求取被测对象的形心。形心由下列公式得到: ∑t “=£o. Ⅳ ∑” cy=』卫一 ’ N (4.15) 其中,‘和M为图像经过处理后的像素点的坐标,Ⅳ为目标的总的像素点的数量,“和cy为二 值化图像的形心坐标。 4.6本章小结 本章主要介绍了在论文中进行的图像处理和检测识别方面的相关工作,主要有图像预处理、图像分 割、目标提取及特征量的选取等。通过上位机进行图像处理算法的实验对比,针对ARM平台的实际特 征以及视觉测振时的应用要求,选择有针对性的图像处理和检测算法,提高了系统的实时性,并达到一 定的精度要求。 第五章二维振动实验 第五章二维振动实验 5.1引言 在本章中,将详细介绍利用本课题研究的基于ARM平台的视觉测振技术进行二维振动实验的情况, 包括实验装置、实验过程的步骤安排、实验中获取数据的处理方法以及最终获得的结果。该实验结果证 明基于ARM平台的视觉测振技术具有良好可行性和可靠性。 5.2实验装置 图5—1所示为实验装置。具有~定质量的振动物体被固定在一端固定的弹簧片的自由端,激振器位 于弹簧片的下方。在激振器的作用下,物体在水平和竖直两个方向振动。 常规方法检测这种二维振动是比较困难的,一般需要采用两组传感器进行工作。这就存在传感器之 间工作的同步问题。而利用机器视觉技术检测这类振动相对容易,只需将摄像头安放在垂直振动平面的 合理位置即可同时获取两个方向振动的信息,因此实验的准备时间比较少。 实验前,将振动物体用漫反射强的彩纸进行单一颜色标记,标记时要注意与背景颜色要有比较明显 的差别,这样利于进行颜色分割。利用摄像头中部区域镜头畸变小的特性,调节摄像头,尽量使被测物 体的振动范围处于摄像头的中部区域。 5.3实验过程 图5-1二维振动实验装置 二维振动检测实验过程包括图像采集、摄像机标定和较正、离线学习、振动数据采集、振动信号分 析和处理几个步骤,如图5—2所示。 东南大学硕士学位论文 开始 采集图像 摄像头标定和校正 离线学习 振动数据采集 上 振动信号分析和处理 图5-2振动实验步骤 各步骤完成的工作为: 1.采集图像:利用USB摄像头采集视频信号,将采集的图像以RGB565格式输入嵌入式系统,并 在屏幕上显示出来。 2.摄像头标定和校正:利用平面正交网格板实现摄像头标定,计算出变换参数和畸变系数,然后 对图像进行校正。 3.离线学习:物体未振动时,拍摄当前一幅静态图像,利用鼠标实现对被测物体的选定,将选定 的区域进行RGB—_Hsv空间的转换,并在HSV空间求取阈值,从而得到被测物体的H、s分量的取值 范围及当前的形心位置。 4.振动数据采集:这部分需要完成工作如图5—3所示。对振动物体进行连续拍摄时,对每幅由USB 摄像头采集得到的图像文件,采用中值滤波进行图像预处理工作后,将其进行RGB—Hsv空间的转换, 根据离线学习的结果,利用H、S分量的阈值,识别出振动物体,去除图像的背景,将被测物体从背景 中分割出来,同时对分割后的图像进行二值化处理,得到一幅黑白图像。该二值图像中,白色为背景, 黑色为被测物体:对分割得到的黑白图像进一步采用数学形态学方法滤除噪声。由于被测物体是刚体, 只需检测出一个特征点就可以分析得到整个物体振动的情况。本论文中,选取形心为特征点,记录每个 采集时刻振动物体形心的坐标。 5.振动信号分析和处理:对采集到的形心坐标进行平滑滤波后,得到水平、竖直两个振动方向的 位移数据,用曲线显示,并对测得的位移数据进行FFT变换,读取其FFT谱。 第五章二维振动实验 拍摄当前振动时图像 上 j利用中值滤波进行图像预处理 上 图像进行RG&HsV窄问转换 上 与离线学习结果对比 0 图像分割,去除背景 0 二值化图像,闭运算滤波 上 求戢当前时刻形心 图5-3振动数据采集工作 5.4实验数据分析处理 调整定时器的时间参数,通过定时采样获取128张I璺I像,进行了一组视觉测振实验。 为了得到被测物体的振动位移数据,首先拍摄一幅被测物体的静态图像,如图5-4所示。对图像进 行分割,经过处理计算后,得到静态时物体的形心位置(c=k,毋o),如图5—5所示。 幽5-4傲删物体静态幽像 东南大学硕十学伊论文 幽5-5铍删物体静态时的彤心 幽5-6振动时采集的剀像 当物体开始振动时,拍摄每个采集时刻的物体的图像,并记录当前时刻,七的形心位置(£k,cYk) 如图5-6所示。每个采集时刻物体相对于静止状态的位移可由公式(5.1)得到 第五章二维振动实验 撩【吼2%2吼一一%铫 ㈧,2,…,128 (5,1) 其中:Sxk为水平方向振动的位移,¥l为竖直方向振动的位移,均以像素为单位。 而时间坐标‘可以由公式(5.2)得到 ‘=k6, (5,2) 其中:矗为定时器的时间间隔,由人为设定。 考虑到USB摄像头采集得到的数据中包含有各种随机干扰信号,为了将原始数据中不需要的频率 成分和干扰信号消除掉,在进行振动位移曲线拟合前必须对采集到的数据进行平滑处理。 根据所测得振动信号的实际特性,本文中采用的是五点三次曲线拟合的方法对采集的数据进行平滑 滤波。其原理如下: 假设已知n个实验数据为Xo,五,…,Xn一.,而且每一个观测点的附近,存在三阶导数。在每个 数据点‘的前后各取两个相邻的点·即一一2,‘一l,t,t+I,t+2。用三次多项式 y(f)=龟+口1(f—f)+呸(f—f)2+日,0一f)3 (5.3) 作为未知函数在f∈【f—i一2,r一“·2】上的近似。根据最小二乘原理,定出系数‰,aI,02,呜。 设这五个数据相邻数据点的横坐标为t=i一2,,=i-1,,=i,t=“.1,r=i+2,对应的数据 点值为t一2,葺。,薯,‘“,一+2,则误差的平方和为 Q=:∑射[一‘一]‘‘]=:∑【芝a+q[(o+f—q((fH)t+)n- 坞:i) O—f 1I2 (5.,。4’) t=1-2 ,一2一 。 2+a3(川3--Xty(O 对上式求分别求Clo,al,02,吃的偏导数。 = 2[嘞+口l(,一f)+口2(f—f)2+口,(『一f)3一‘]=o = 2h+Ⅱ1(H)坞(川)2+吃(H)3一‘](H)=0 (5.5) = 2 b+q(H)+a2(H)2+口3(H)3一‘](,-f)2=o 望甄望舰望趣望鸹 = m∑警∑=∑=∑一 2h+q(H)+a2(f-f)2+吩(H)3一t](H)3=o 可解得 东南大学珂l t学位论文 嘞2一万一一2+万一一1+万一+万‘+一一万一+z 1 2 2 1 aI 2西‘一:一j‘一,+了‘“一西t+: l 1 1 l 1 (5.6) 啦2了‘一:一百‘一,一-C'一百一“+了t+: l 1 1 】 吩2一西t一:+i‘一t—i‘“+Tjt+: 最后可得到五点三次平滑公式如下: %=去(69%+4确一6”4确一:) %=去(2%+27铀+12x,一8h+2%) 只=去(也-2+12x,一17x,+12‰一3x,+:) (5.7) ‰=去(2确一8钆+12x,+27x,+l+2%) %=去(一t-2+4h—st+4‰+69x,+:) 其中"表示x.的平滑值。 经过平滑处理后的数据,相对原始数据而言,只对幅值有所影响。 图5—7所示为将采集数据点经过样条插值计算后绘制的二维振动位移.时间曲线。红色曲线是代表 水平方向形心坐标变化的范围,蓝色曲线代表竖直方向形心坐标变化的范围。从图上可以看出,形心坐 标成正弦规律变化。利用时间坐标公式(5.2)及总采集时间内周期的个数,可计算得振动周期约等于 1.43s。此时标定结果为0.339mm/pixel,因此可得水平方向的振动幅值约为1.86mm,竖直方向的振动幅 值约为2.37ram。 幽5.7位移.时IⅫ曲线 图5-8和5-9分别为水平方向和竖直方向位移数据的FFT幅值谱曲线。从圈上可以看出,FFT幅值 谱上具有两个峰值,且呈对称分布,它们分别对应于正、负频率。 量至!三竺堡生差矍一—~、 幽5-8水平方向伊穆FFT幅佰请 |茔|5-9竖直办向位移的FF丁帕值暗 图5,10为利用示波器采集的输入信号波形。从图中可以霜出.输入波形为周期为I.4s的正弦波。 根据振动的规律,对于正弦输入信号,输出波形应是与输入波形具有相同频率的正弦波。对比|璺l 5.7, 这可证明利用视觉测振技术处理得到的振动信号比较符合理论要求,系统具有良好的效果。 |璺|5-10不波器采集输入波彤 53 5.5本章小结 东南大学硕士学位论文 本章主要介绍了利用本课题研究的建立在ARM平台上视觉技术检测二维振动的实验情况。从实验 效果看,在振动频率不高的情况下,利用基于ARM平台的机器视觉技术进行振动检测是可以达到较为 理想的效果的,同时也证明前文所设计和选用的算法切实可行,具有很好的适应性。随着科学技术的发 展,USB数码摄像头和ARM平台将不断更新,速度将越来越快,性价比将大大提升,基于ARM平台 的视觉测振技术也将由此得到极大改善,将会应用于更多情况下的振动检测。 第六章论文总结与展望 第六章论文总结与展望 6.1主要研究成果 本论文主要研究了传感器与检测技术课程群实验平台中的视觉测振技术。根据本课题的要求,建立 了利用USB数码摄像头采集图像数据、以ARM9系列微处理器为内核的嵌入式系统作硬件平台的视觉 测振系统,设计和采用了适用的图像处理和检测算法,并取得良好的效果。利用机器视觉技术对二维振 动进行了检测实验,实验结果表明,本论文研究的基于ARM平台的视觉测振技术是能够满足实际需要 的,具有较好的可行性和可靠性。 本论文取得的主要研究成果如下: 1.根据系统特点实现摄像系统的标定与校正,进一步改进数据处理方法,提高标定的精度。 2.分析了常用的图像预处理算法,根据本课题的需要采取有针对性的算法,参考文献资料,利用 改进了流程的中值滤波方法提高系统的效率和实时性。 3.根据被测对象的特点,采用基于颜色阈值的分割和识别方法,利用HSV模式实现彩色图像的分 割,利用数学形态学对图像进行处理。从而降低了系统对测量环境的要求,提高了系统的适应性。 4.针对二维振动实验,采用适宜的数据处理和信号分析方法,实现了对振动信号的采集、分析和 处理。 6.2研究工作展望 将机器视觉和嵌入式系统结合起来是机器视觉技术发展的趋势,也利于两者的优势互补。利用搭建 在嵌入式系统上的机器视觉技术进行振动检测是检测技术非常重要的发展方向。由于本实验系统还处在 起步阶段,存在不少不足之处,可以从下面进行改进: 1.本课题对视频图像的采集是利用定时器触发进行的,这种方法使用起来比较简单且容易实现, 也可以考虑采用DirectShow技术,通过开发流媒体技术实现视频数据的采集。 2.在进行摄像系统标定中,对网格交点的定位采取的是人工手动的方法,可以考虑利用亚像素方 法,通过提取角点和边缘,实现精确定位,进一步提高精度,降低人为误差的影响。 3.进行图像分割时采用的是颜色阂值方法,虽然这种方法速度快,计算简单,但是对噪声还是比 较敏感。也可以针对被测对象的具体特征(如形状、大小、面积等),采用其他的图像检测和跟踪方法, 如利用模板匹配、模式识别等方法提高检测精度。 4.振动图像中目标中心位置的确定是通过提取形心得到的。形心算法实现的稳定性和精度主要取 决于分割阕值的确定情况。本课题中颜色阈值的获取是通过离线学习,人机交互的方式得到,也可以改 进方法,采用如自适应检测算法等,智能化地选择阈值,使计算可靠性与实时性达到最佳结合值。 5.目前系统只实现了单目检测,系统可以扩充为多个摄像头进行同时控制,获取多方位的图像信 息,进行多点的振动检测。 6.目前本课题中利用视觉测振技术研究的检测对象比较少,只重点研究了二维振动检测。可以对 系统中图像处理方法进一步扩充和改进,以扩大其应用范围,并在此基础上,可增加测量项目,如进行 粱的变形测量、振动模态的测试等。 7.目前本课题利用视觉测振时进行的信号分析和数据处理工作比较少,可以针对被测对象的实际 情况,增加数据分析工作的内容,检测更多的振动信息。 55 东南大学硕士学位论文 致谢 在本论文即将完成之际,首先感谢我的导师张文锦教授。感谢张老师对我整个研究生阶段的关怀和 指导。从我慕名进入东南大学的第一天.我就深深感受到了他的谆谆教导与关怀。张老师在检测技术及 智能化仪器仪表研究方面的丰富经验和对技术发展的深刻理解,对我的研究工作有莫大的启发。在毕业 设计过程中,包括论文选题、研究内容、研究重点等多个方面,张老师都给予了悉心的指导。在论文的 写作过程中,无论是论文的框架还是内容组织,他都提出了宝贵的意见和建议。在我攻读硕士学位的几 年中,张老师在学习和生活等各个方面都给予了我无微不至的关心与照顾。张老师渊博的学识,对学术 研究的敏锐目光,严谨的治学态度,以及对我们日常工作的严格要求也使我养成了良好的工作习惯,更 是给我留下了深刻的印象。在此,我向张老师致以崇高的敬意和衷心的感谢! 其次,我要感谢师兄吴学功,他多次对我的科研工作进行指导与帮助,并无私地与我分享他的研究 心得与体会,使我受益匪浅。他前期科研的经验和成果为我的研究工作打下良好的基础。 同时,我还要感谢实验室里各位同学和朋友——葛立海、陈兴云、徐高峰、包先国、潘颀、张埴、 华磊等。感谢他们在科研工作和平时的生活中对我的无私的帮助与支持,使我能够解决科研中遇到的问 题,论文工作得以顺利完成。 本文在写作过程中,参阅了大量的书籍、资料和文献,汲取和借鉴了前人的许多研究成果。借此机 会,向这些资料的原作者表示感谢。 我要特别的感谢远方的父母和男友,是他们始终在背后的默默支持和奉献,使得我在遇到困难的时 候,始终有继续坚持的勇气和信心。没有他们的支持和关心,我的科研工作和研究生生活也不可能顺利 完成。 最后,再次对所有关心和帮助过我的人表示衷心的感谢! 田菲 2007年5月写于中心楼 东南大学硕士学位论文 参考文献 【l】周长发.科学与工程数值算法(Visual c++版)[M】.北京:清华大学出版社,2002 【2】2 Milan Sonka,VaclavHlavae,RogerBoyle著,艾海舟,武勃等译.图像处理、分析与机器视觉(第 二版)【M】.北京,人民邮电出版社,2003 [3】邓继忠,张泰岭.数字图像处理技术【M】.广州:广东科技出版社,2005 (4】贾永红.数字图像处理【M】.武汉:武汉大学出版社,2003 【5】汪兵,李存斌,陈鹏.EVC高级编程及其应用开发(Embedded Visual c++嵌入式编程)[M】.北 京:中国水利水电出版社,2005 [6】傅曦,齐宇嵌入式Windows CE开发技巧与实例【M】.北京:化学工业出版社,2003 [7】陆宗骐,金登男.Visual c++.NET图像处理编程【M】.北京:清华大学出版社,2006 【8】朗锐.数字图像处理学——、,isual c++实现【M】.北京:北京希望电子出版社,2003 f9】何斌。马天予,王运坚,等.Visual C++数字图像处理【M1.北京:人民邮电出版社,2001 【10】陈兵旗,孙明.Visual C++实用处理专业教程【M】】.北京:清华大学出版社,2004 【ll】杨淑莹.、℃++图像处理程序设计【M】.北京:清华大学出版社,北方交通大学出版社,2003 【12】袁慰平,孙志忠,吴宏伟,等.计算方法与实习【MI.南京:东南大学出版社,2000 【13】陈纯.计算机图像处理技术与算法[MI.北京:清华大学出版社,2003 【14】徐效凯.数据结构【M】.北京:电子工业出版社,2004 【15】费业泰.误差理论与数据处理【M】.第4版.北京:机械工业出版社,2002 【16】于起峰,陆宏伟,刘肖琳.基于图像的精密测量与运动测量[M】.北京:科学出版社,2002 f17】 田东风.Windows CE应用程序设计口川.北京:机械工业出版社,2003 【18]陆其明.DirectShow实务精选【M】.北京:科学出版社,2004 [19】吴学功.基于USB摄像头的数字图像检测技术研究【D】:[硕士学位论文】.南京:东南大学,2006 [20】邹风娇.摄像机标定及相关技术研究【D】:【硕士学位论文】.成都:四川大学武汉,2005 [21】邱志强.从透视图象恢复刚体三维运动参数的理论与方法研究tD]:【硕士学位论文】.长沙:国防 科学技术大学,2000 【22】杜欣.五自由度视觉平台伺服控制研究[D】:【博士学位论文】.北京:中国科学院自动化研究所, 2004 【23】席斌,王振雷,钱峰.机器视觉工业检测系统的应用与发展[J】.控制工程,2006,13:220-222 【24】段峰,王耀南,雷晓峰,等.机器视觉技术及其应用综述阴.自动化博览,2002,59-61 【25】陈梅兰.机器视觉关键技术与应用实例分析【J】.现代计算机,2006,(27):21-25 【26】唐向阳,张勇,李江有,等.机器视觉关键技术的现状及应用展望[J】.昆明理工大学学报(理工 版),2004,29(2):36-39 【27】张绮.机器视觉系统的原理及现状[J】.电子工业专用设备,1999,28(4):20.22 【28]李福建,张元培.机器视觉系统组成研究【J】.自动化博览,2004:61-63 【29]张业鹏,何涛,文昌俊,等.机器视觉在工业测量中的应用与研究【J].光学精密工程,2001,9 (4):324.329 【301马玉真,胡亮,方志强,等.计算机视觉检测技术的发展及应用研究【J】.济南大学学报(自然科 学版),2004,18(3):222.227 【3l】李佑军.嵌入式系统综述【J】.现代电子技术,2003,(6):90-98 【32】胡国兵.嵌入式系统综述[J】.南通职业大学学报,2004,18(4):29.32 【33】刘伟群.嵌入式系统及其应用技术特点Ⅲ.娄底师专学报,2004,(2):69.71 【34】戴艳丽.嵌入式系统的发展及应用[J】.科技资讯,2006:205.207 57 东南大学硕士学位论文 [35】涂刚,阳富民,胡贯荣,嵌入式操作系统综述【J】.计算机应用研究,2000,(j1):419 【36】宁勇,嵌入式操作系统综述【J].邵阳学院学报(自然科学版),2004,1(2):4547 f37】廖立平.视频图像位移测试实验系统【J】.湘潭大学自然科学学报,2004,26(2):88.91 【3s】邱茂林,马颂德,李毅.计算机视觉中摄像机定标综述【J】.自动化学报,2000,26(1):43.55 【39】赵小松,张宏伟,张国雄,等.摄像机标定技术的研究啪.机械工程学报,2002,38(3):149.15l [40】Juyang Weng,Member,IEEE·Paul Cohen,and Mare Herniou,Camera Calibration with Distortion Models and Accuracy Evaluation[J].IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELUGENCE,1992,14(10):965-980 【41】伍雪冬,蒋新华,李建兴,等.计算机视觉中传统摄像机定标方法综述阴.福建工程学院学报, 2007,5(1):57.61 [42】权铁汉,于起峰.摄影测量系统的高精度标定与修正阴.自动化学报,2000,26(6):748.755 [43】陆宏伟,邱志强,于起峰.一种摄像系统定量评定方法【J】.计量技术,2004,(10):13—16 【44】张健新,段发阶,叶声华.简便的高精度摄像机标定技术明.仪器仪表学报,1999。20(2):193.196 145]曹治华,宋斌恒.多种形状窗口下的快速中值滤波算法m.计算机应用研究,2006,(3):85-88 [46】【60】李刚,范瑞霞.一种改进的图像中值滤波算法【J】.北京理工大学学报,2002,22(3):376-78 [47】夏玮,李朝晖.中值滤波的快速算法[J】.计算机工程与设计.2002,23(1):58.59 [4S】杨晖,曲秀杰.图像分割方法综述【J】.电脑开发与应用,2005,18(3):21.23 [49】张新峰。沈兰荪.图像分割技术研究【J】.电路与系统学报,2004,9(2):92.99 [50】杜欣,赵晓光.基于彩色图像的机器人视觉跟踪[J].武汉大学学报,2006,31(2):136.139 【51]杜艳红,高庆吉,曾浩,等,基于颜色和形状特征的目标检测与识n0[J],东北电力学院学报,2005, 24(2):8-11 【52】杜艳红,高庆吉,孙承琦,等.基于颜色和形状特征的目标检测与识别【J】.东北电力学院学报, 2005,25(1):48—53 【53】欧宗瑛,袁野,张艳珍,基于颜色信息足球机器人视觉跟踪算法叽.大连理工大学学报,2000, 40(6):729—732 【54】杜欣,赵晓光.五自由度立体视觉平台——目标物体的识别与定位田.计算机工程与应用,2005, 27:93-96 【55】卢丽,刘万春,刘俐.基于彩色分割的机器人足球目标识别[J】.计算机工程与设计,2004,25 (11):2093-2095 【56】林开颜,吴军辉,徐立鸿.彩色图像分割方法综述们.中国图象图形学报,2005,10(1):1-10 【57】马英辉,韩焱.彩色图像分割方法综述川.科技情报开发与经济,2006,16(4):158,159 [58】杨杰,张铭钧,徐建安.基于彩色图像的运动目标分割方法【J】.机械工程学报,2006.42:170.174 【59】王泽兵,杨朝晖.彩色图像分割方法研究[月,数字电视与数字视频,2005(4):20.24 f60]陈科庆,何茂军.彩色图像分割综述讲,湖北师范学院学报<自然科学版),2004,24(4):32-36 【6l】刘拓群.基于面阵CCD的振动非接触测鼋[J】.机械与电子,2002(4);76.77 【62】李强,杨涛.形心和匹配跟踪算法的改进【J】.光电工程,2000,27(2):29.30 东南大学硕士学位论文 攻读硕士学位期间发表的论文 1.田菲,张文锦.嵌入式机器视觉系统的设计.仪器仪表用户,2006,13(6):22.24 基于ARM平台的视觉测振技术研究 作者: 学位授予单位: 田菲 东南大学 相似文献(0条) 本文链接:http://d.g.wanfangdata.com.cn/Thesis_Y1235029.aspx 下载时间:2010年5月26日
更多简介内容

评论

下载专区


TI 参考设计资源库

工业电子 汽车电子 个人电子
$(function(){ var appid = $(".select li a").data("channel"); $(".select li a").click(function(){ var appid = $(this).data("channel"); $('.select dt').html($(this).html()); $('#channel').val(appid); }) })