第３２卷第３期
２０１５年５月
深圳大学学报理工版
ＪＯＵＲＮＡＬ
ＯＦ ＳＨＥＮＺＨＥＮ ＵＮＩＶＥＲＳＩＴＹ ＳＣＩＥＮＣＥ ＡＮＤ ＥＮＧＩＮＥＥＲＩＮＧ
Ｖ０１．３２
Ｎ½．３
Ｍ½½ ２０１５
【光电工程／Ｏ½½½½½½½½½½½½½
基于ＡＲＭ的嵌入式超分辨率复原系统设计
邱文胜１，牛½红１，苏秉华２…，王源圆２
１）深圳大学光电工程学院，深圳５１８０６０；２）北京理工大学光电学院，北京１０００８１；
３）北京理工大学珠海学院信息学院，广东珠海５１８０８８
摘要：为解决传统插值方法对采集的视频图像放大时易出现块效应和细节退化的问题，在高级ＲＩＳＣ
微处理器（½½½½½½½½
ＲＩＳＣ
½½½½½½½½½½½½½½，ＡＲＭ）平台上设计并搭建基于小波变换算法的嵌入式超分辨率复
原系统．以ＡＲＭ
Ｃ½½½½½ＴＭ—Ａ８处理器（Ｓ５ＰＶ２１０）为核心搭建硬件平台，采用嵌入式Ｌ½½½½系统搭建½件
开发环境，设计基于Ｖ４Ｌ２接口的视频图像采集程序．最后将基于小波变换的超分辨率复原算法植入系统．
实验证明，该系统处理的视频图像，比传统插值方法处理的视频图像取得了更高的峰值信噪比，½够恢复
出更多细节信息．
关键词：图像处理；超分辨率复原；高级ＲＩＳＣ微处理器；小波变换；Ｌ½½½½；Ｖ４Ｌ２接口；视频图像采
集程序；峰值信噪比
中图分类号：ＴＰ
７５２．１
文献标志码：Ａ
½½½：１０．３７２４／ＳＰ．Ｊ．１２４９．２０１５．０３３１１
Ｄ½½½½½ ½½
½½½½½½½½
½½½½½－・½½½½½½½½½½ ½½½½½½½½½½½
½½½½½½
½½½½½
½½
ＡＲＭ
Ｑ½½
Ｗ½½½½½½９１，Ｎ½½
Ｌ½½½½½¨，Ｓ½
Ｂ½½½½½½２…，½½½
Ｗ½½½
Ｙ½½½½½½½２
１）Ｃ½½½½½½
３）Ｉ½½½½½½½½
½½ Ｏ½½½½½½½½½½½½½ Ｅ½½½½½½½½½½，Ｓ½½½½½½½ Ｕ½½½½½½½½½，Ｓ½½½½½½½ ５１８０６０，Ｐ．Ｒ．Ｃ½½½½
½½
２）Ｓ½½½½½
Ｏ½½½½½½½½½½½½½½，Ｂ½½½½½½
Ｉ½½½½½½½½ ½½
Ｔ½½½½½½½½½，Ｂ½½½½½½
１０００８１，Ｐ．Ｒ．Ｃ½½½½
½½ Ｉ½½½½½½½½½½，Ｚ½½½½½ Ｃ½½½½½
Ｂ½½½½½½
Ｉ½½½½½½½½ ½½
Ｔ½½½½½½½½½，Ｚ½½½½½
５１９０８８，Ｇ½½½½½½½½ Ｐ½½½½½½½，Ｐ．Ｒ．Ｃ½½½½
Ａ½½½½½½½：Ｉ½ ½½½½½
½½
½½½½½½½½ ½½½ ½½½½½½½½½½½½ ½½ ½½½ ½½½½½½½½½½½ ½½½½½½½ ½½½ ½½½½½½½½½½ ½½½½½½½½½ ½½½½½
½½½½½½
½½
½½
½½½½½½½½½½½½½，½½ ½½½½½½
½½½½½½½½ ½½½½½－½½½½½½½½½½ ½½½½½½½½½½½
½½½½½½
½½½½½
½½
½½
½½½½½½½½ ＲＩＳＣ ½½½½½½½½½½½½½½
（ＡＲＭ）½½½
½½
½
½½½½½½½ ½½½½½½½½½ ½½½½½½½½½．Ｔ½½ ½½½½½½½½ ½½½½½½½½
½½
½Ｓ
ＡＲＭ Ｃ½½½½½ＴＭ－Ａ８
½½½½½½½½½（￥５ＰＶ２１０）
½
½½½
½½½½
½½½½½½½½½
½½½ ½½½ ½½½½½½½½ ½½½½½½½½½½½
½½½½½½½½½½½
½½
½½½½½½½½
Ｌ½½½½．Ｗ½
½½½½½½½½½
½½
½½½½½ ½½½½½
½½½½½½½½½½
½½½½½½½
½½½½½
Ｖ４Ｌ２ ½½½
½
½½½½½・½½½½½½½½½½
½½½½½½½½½½½
½½½½½½½½½ ½½½½½
½½
½½½½½½½
½½½½½½½½½½½½½½．
Ｅ½½½½½½½½½½½ ½½½½½½½ ½½½½ ½½½½ ½½½ ½½½½ ½½½½½½
½½½½½
½½½½½（ＰＳＮＲ）½½
½½½
½½½½½½ ½½½½ ½½½½½ ½½½½½½½½½ ½½ ½½½½½½½½½½
½½½½
½½½½½½½½½½½½½
½½½½½½½，½½½
½½½½
½½½½½½ ½½ ½½½ ½½½½½½
½½ ½½½½½½½½．
ＲＩＳＣ
Ｋ½½ ½½½½½：½½½½½ ½½½½½½½½½½；½½½½½—½½½½½½½½½½ ½½½½½½½½½½½；½½½½½½½½
½½½½½½½½½½½½½½（ＡＲＭ）；½½½½½½½
½½
½½½½½
½½½½½½½½½；Ｌ½½½½；½½½½½
½½½ Ｌ½½½½
½½½（Ｖ４Ｌ２）½½½½；½½½½½½½
½½½ ½½½½½
½½½½½
½½½½½½½½½½；½½½½ ½½½½½½
½½½½½
Ｒ½½½½½½½：２０１５一Ｏ½一２７；Ａ½½½½½½½：２０１５．０３．０４
Ｆ½½½½½½½½½：Ｓ½½½½½½ Ｆ½½½ ½½ Ｎ½½½½½½½ Ｋ½½ Ｓ½½½½½½½½½ Ｉ½½½½½½½½½ ½½½ Ｅ½½½½½½½½ Ｄ½½½½½½½½½½
Ｐ½½½½½½½
½½ Ｃ½½½½ ½½½ Ｉ½½½½—Ｃ½½½½½½½½
Ｈ½½½ Ｓ½½½½
Ｃ½½½½½（２０１４ＹＱ２３０６５９）
½
Ｃ½½½½½½½½½½½½ ½½½½½½：Ｐ½½½½½½½½ Ｎ½½ Ｌ½½½½½．Ｅ．½½½½：ＮＩＵＬＨ＠½½½．½½½．½½
Ｃ½组½½½½：Ｑ½½
Ｗ½½½½½½½，Ｎ½½
Ｌ½½½½½，Ｓ½ Ｂ½½½½½½，½½ ½１．Ｄ½½½½½ ½½ ½½½½½½½½ ½½½½½．½½½½½½½½½½ ½½½½½½½½½½½ ½½½½½½
½½．Ｊ½½½½½½
½½ Ｓ½½½½½½½ Ｕ½½½½½½½½½ Ｓ½½½½½½ ½½½
Ｅ½½½½½½½½½½，２０１５，３２（３）：３１１－３１６．（½½
Ｃ½½½½½½）
½½½½½
½½
ＡＲＭ
万方数据
３１２
深圳大学学报理工版
第３２卷
超分辨率复原是将一幅或多幅½分辨率图像复
原到高分辨率图像的过程，其目的在于试图复原截
止频率之外的信息，½图像获得更多的细节和信
息¨Ｊ．近年来，中½学者对超分辨率复原做了大量
的研究旧４
Ｊ，大多是在Ｍ½½½½½等ＰＣ平台上实现的．
３２／３２
½½½½的数据／指令１级缓存，５１２ ½½½½的２级
０００
缓存，可实现２
ＤＭＩＰＳ（每秒运算２０亿条指令
集）的高性½运算½力＂Ｊ．选择￥５ＰＶ２１０½为本
系统的核心处理器是因为它在图像处理方面的独特
优势：Ｓ５ＰＶ２１０支持Ｈ２６４和ＭＰＥＧ等格式视频硬
ＰＣ系统较嵌入式系统而言，存在½积大、功耗高
及成本高等缺陷∞Ｊ．在实际应用中，对视频图像进
行分辨率增强时，往往是用传统的插值方法，这容
易造成块效应和细节退化等问题Ｍ
Ｊ．针对上述问
题，本研究设计了高级ＲＩＳＣ微处理器（½½½½½½½½
½½½½½½½½½½½½½½，ＡＲＭ）嵌入式平台的½硬件
系统，并植入基于小波变换的超分辨率复原算法，
ＲＩＳＣ
件编解码；支持ＨＤＭＩ等高清视频输出；内嵌了
Ｐ½½½½ＶＲ
ＳＧＸ５４０图像引擎，对图像处理提供强大
的硬件加速支持．本系统选用的摄像头是最高分辨
率为６４０×４８０的½色ＵＳＢ摄像头，其传感器为
ＣＭＯＳ，最大帧数为３０帧／Ｓ．系统选用的显示器是
最大分辨率为８００×４８０的½色液晶显示屏．摄像
头通过ＡＲＭ外扩的ＵＳＢ接口与系统连接，液晶屏
通过薄膜线与ＡＲＭ外扩的薄膜线卡½相连进行数
据传送．
１．２
实现对输入视频图像的超分辨率处理．
１
系统½硬件平台的搭建
如图１，本研究设计的系统总½结构由视频图
系统½件开发环境的搭建
嵌入式½件设计包括嵌入式操½系统和用户应
像输入模块、视频图像超分辨率复原算法处理模块
和视频图像显示输出模块组成．系统工½时，通用
串行总线（½½½½½½½½½
½½½½½½
用程序，在设计视频图像采集程序之前，应预先移
植嵌入式操½系统．本研究搭建的是Ｌ½½½½嵌入式
操½系统环境．通过½用½½½・½½½½½—½½½建立交叉编
译环境、移植Ｂ½½½½½½½½½、移植Ｌ½½½½内核、制½根
½½½，ＵＳＢ）摄像头½为
视频图像输入模块将采集到的数据送至缓存，然后
由￥５ＰＶ２１０
ＡＲＭ处理器进行超分辨率复原处理，
最后由液晶显示器（１½½½½½
½½½½½½½
文件系统等步骤，完成ＡＲＭ平台上嵌入式Ｌ½½½½系
统的搭建½Ｊ．
½½½½½½½，ＬＣＤ）显
½½½½½½½
示模块进行输出，或存放至ＳＤ卡（½½½½½½
½½½½½½
½½½½）中进行储存．
２
视频图像采集程序的设计
本视频图像采集程序是基于Ｖ½½½½
Ｆ½½
Ｌ½½½½２
（Ｖ４Ｌ２）接口进行设计的．½４Ｌ２是Ｌ½½½½内核中关
于视频设备的驱动，为Ｌ½½½½中视频设备访问提供
了通用接口［９－１０½．本系统采集视频图像程序的流程
如图２．
按照流程图设计并编写程序．在Ｖ４Ｌ２中，将
视频设备视为一个文件，用½½½½½数打开．系统
½用的摄像头最大分辨率为６４０×４８０，将其降采样
为３２０×２４０格式，这样超分辨率复原处理后达到
６４０×４８０的视频图像，便于显示在８００×４８０的液
图１系统总½结构图
Ｆ½½．１
Ｏ½½½½½½
½½½½½½½½½
½½ ½½½
½½½½½½
晶屏上．
用½½½½½数将在内存空间中获取的视频帧映
射到用户空间．同时将申请到的帧缓冲反倒队列之
中，用来保存采集到的图像数据．对每一帧图像进
行超分辨率复原处理，输出到ＬＣＤ进行显示．
１．１系统硬件组成
本系统的核心处理器为三星公司的Ｓ５ＰＶ２１０处
理器，它采用ＡＲＭ Ｃ½½½½½ＴＭ—Ａ８内核，指令集为
ＡＲＭ
½７，主频可达１
ＧＨ½，３２
½½½½内部总线结构，
最后调用½½½½½½数关闭摄像头．
万方数据
第３期
邱文胜，等：基于ＡＲＭ的嵌入式超分辨率复原系统设计
３１３
½是，在执行ＤＷＴ时，需对图像进行下采样，
这会造成信息丢失．因此，可采用平稳小波变换
（½½½½½½½½½½
½½½½½½½½½，ＳＷＴ）弥补丢失信息．
ＳＷＴ与ＤＷＴ相似，½不需经过下采样，其尺
½½½½½½½
度系数与原始信号等长‘１２。４½
Ａ，，＾。，。：＝∑∑＾½型（½。一２½。）½½Ｔ∥（½：一
２½½½２）Ａ，－１’½½
（３）
巧，％。：＝∑∑九½一（½。一２½。）甜一（凡：一
２．½２２）４－１．％½
（４）
磁％½＝∑∑“一（凡。一２½。）＾½∥（½：一
２后：）４＿１．¨。，
（５）
哦％。：＝∑∑“掣（½，一２½，）½½一（½：一
图２视频图像采集流程图
Ｆ½½．２
Ｆ½½½ ½½½½½ ½½½ ½½½½½ ½½½½½ ½½½½½½½½½½
２艮２）今－½＇％½
（６）
式（３）至式（６）为ＳＷＴ的重构过程．其中，＿『为½前
尺度；½。和凡：为对应的系数序列；½。和½：为移动因
超分辨率复原处理算法
本系统采用基于小波变换的超分辨率复原算法
对采集的视频图像进行处理．小波变换将图像分割
为不同频率的成分，通过在不同尺度下的操½可实
现图像超分辨率复原．
子；Ａ¨，，½２、叫，½Ｉ，½２、瑗½Ｉ，½２和疃½½，½２分别表示
ＳＷＴ后的½频分量、水平高频分量、垂直高频分量
和对角分量；½½Ｔ掣和矗掣则表示在½和½。之间插入
２½一１个０．
３．１算法步骤
在½用传统插值方法对图像进行分辨率增强
时，最大的缺陷是高频信息的丢失（例如边缘信
息），这主要缘于插值带来的平滑效应．对图像进
行离散小波变换（½½½½½½½½
½½½½½½½
½½½½½½½½½．
如图３，本系统采用ＤＷＴ与ＳＷＴ结合的算法
来对图像进行超分辨率复原处理．
½分辨率图像
插值
离散小波变换
ＤＷＴ
ＤＷＴ），则可有效地保持图像的高频信息．
设½（Ｒ）为½量有限的空间信号，如果½数
，＋∞
缈（½）∈Ｌ２（Ｒ）满足½
Ｊ一∞
哕（½）½½＝０，则该½数称
为基本小波，或称母小波．对母小波进行伸缩和平
移后生成的小波【Ｉ¨为
黑
½修ＪＥＨＬ Ｉ
离散小波逆变换
½眈，。（½）½＝。圳２缈½型１，Ⅱ，½∈Ｒ（１）
、
修正ＬＨ½
½修正ＨＨ
口
／
其中，口是尺度因子；½是平移因子．
令Ｇ＝８０½½，½＝½½½口½Ｉ½，½，Ｉ＂½∈Ｚ，Ｇ½＞½，½½
Ｒ，则八￡）的ＤＷＴ为
Ｅ
ＩＤＷＴ
高分辨率图像
啄（½，½）＝½½删½八￡）½／（½½“½—½½½）½￡（２）
图３本算法流程
Ｆ½½．３
Ｔ½½ ½½½½½½½½½½½ ½½½½½½½
万方数据
３１４
深圳大学学报理工版
表１不同算法得到的ＰＳＮＲ值
Ｔ½Ｍ½ １
第３２卷
其中，ＬＬ、ＬＨ、ＨＬ和ＨＨ分别为小波变换后图像
的½频子带、水平方向高频子带、垂直方向高频子
带和对角方向高频子带．
算法的具½步骤为：
１）对½分辨率图像插值放大，再进行离散小
波变换（ＤＷＴ），得到４幅不同的子带图像．其中，
½频子带图像（ＬＬ）包含图像的大部分信息（½
频信息）；３幅高频子带图像（ＬＨ、ＨＬ和ＨＨ）包
含图像的高频成分．
２）对原始½分辨率图像进行平稳小波变换
（ＳＷＴ），也得到１幅½频子带图（ＬＬ）和３幅高频
子带图（ＬＨ、ＨＬ和ＨＨ）．
Ｔ½½ ＰＳＮＲ ½½½½½½ ½½½½ ½½½½½½½½½
½½½½½½½
½Ｂ
ＰＳＮＲ是用于衡量增强后图像与原始高清图像
或者目标的逼近程度的参量．ＰＳＮＲ值越高，说明
复原效果越½¨５½．由表１可见，本研究采用的算
法效果优于传统双线性插值和双立方插值算法．图
４为不同算法对Ｂ½½½½½½图像处理后的局部效果对
比．由图４可见，本算法处理后较½地保持了边缘
信息，½½现更清晰的图像细节．
３）分别将ＤＷＴ与ＳＷＴ得到的３幅高频子带
图相应进行叠加，得到修正后的３幅高频子带图．
４）将经过修正的３幅高频子带图像和ＤＷＴ得
到的½频子带图像结合在一起，通过离散小波逆变
换（½½½½½½½
½½½½½½½½ ½½½½½½½
½½½½½½０１Ｔ½½，ＩＤＷＴ）获得
一幅高分辨率的输出图像．
３．２算法在ＡＲＭ平台上实现
首先，为ＤＷＴ、ＳＷＴ和ＩＤＷＴ分别申请４块动
态内存空间，用以存放对应频率的子带图．其次，
读取½分辨率图像数据，采用小波滤波器进行½高
通滤波，实现ＤＷＴ和ＳＷＴ操½．ＤＷＴ滤波后需要
进行下采样，而ＳＷＴ不需要．再次，将修正后的４
幅子带图像进行ＩＤＷＴ操½，通过与ＤＷＴ中的滤
波器相对应的滤波器进行½高通滤波，再进行上采
样．最后，将处理后的数据保存，即为复原后的高
清图像．
４
实验结果
为验证系统采用的超分辨率复原算法的效果，
选用标准的５幅５１２
Ｘ
５１２高分辨率图像（Ｂ½½½½½、
½½½½、Ｌ½½½和Ｐ½½½½½½）½为测试图
像．首先，分别对测试图像进行下采样，得到２５６
Ｂ½½½½½½、Ｇ½½½
２５６的½分辨率输入图像．然后，选用传统的双
线性插值、双立方插值与本研究采用的方法分别对
Ｘ
这些½分辨输入图像进行处理，水平与垂直方向的
放大因子均为２．最后，将不同算法处理得出的图
片分别与其对应的原始高分辨率进行比较，计算出
相应的峰值信噪比（½½½½
ＰＳＮＲ）值．实验结果如表１．
½½½½½½
½½
（½）奉算法
图４
Ｆ½½．４
隰一 Ｉ
½½½½½ ½½½½½，
Ｂ½½½½½½图像实验结果
Ｒ½½½½½½
½½ ½½½½½½½½½½ ½½ Ｂ½½½½½½
万方数据
第３期
邱文胜，等：基于ＡＲＭ的嵌入式超分辨率复原系统设计
３１５
为验证本算法植入ＡＲＭ平台后½否保持超分
辨率复原效果，将测试图像拷贝到ＡＲＭ平台的ＳＤ
卡中，并在ＡＲＭ平台上用本算法对图像超分辨率
复原进行处理．对处理后的图像也进行测试．将测
试所得ＰＳＮＲ值与本算法在ＰＣ平台上处理后得到
的ＰＳＮＲ值进行对比，结果如表２．
由表２可见，在ＰＣ平台和ＡＲＭ平台上，经本
后边缘清晰、细节丰富．实验测得每帧图像的平均
处理时间为３
够½．
１９４．６０７
½½，实时性不高．主要原因
是处理器硬件性½的限制及算法程序的优化不
表２本算法在不同平台上得到的ＰＳＮＲ值
Ｔ½½½½ ２
ＰＳＮＲ ½½Ｉ½½½ ½½ ½½½ ½½½½½½½½
½½½½½½
½½
½½½½½½½½½
½½½½½½½½½
½Ｂ
算法处理的图像的ＰＳＮＲ值相差０．４２％以内（图像
Ｌ½½½的差异最大），表明该算法在ＡＲＭ平台上保
持了超分辨率复原效果．差异可½是由于ＡＲＭ与
ＰＣ的处理器架构不同引起的悼½．
将本算法移植到ＡＲＭ视频图像系统中，提取
采集到的每一帧（３２０×２４０½分辨率视频图像）
的Ｒ、Ｇ、Ｂ通道，并分别对３个通道进行超分辨
率处理，处理后再合成½色图像，最后½成６４０×
４８０高分辨率图像在ＬＣＤ上进行显示．处理前后效
果如图５，可见在ＡＲＭ平台上算法对视频图像处理
½
½’系统显小采集到“０觚分辨宰图像
Ｌ
Ｌ’系统业“½趟分辨率处型出‘的½像
图５视频图像的超分辨率处理
Ｆ½½．５
Ａ½
½½½½½½½ ½½
½½½½½－½½½½½½½½½½ ½½½½½½½½½½
½½
½
½½½½½
½½½½½
结
语
本研究设计了以Ｓ５ＰＶ２１０为核心的嵌入式图像
基金项目：½家重大科学仪器设备开发专项基金资助项目
（２０１４ＹＱ２３０６５９）
½者简介：邱文胜（１９８９一），男（汉族），福建省上杭县人，深圳
大学硕士研究生．Ｅ－½½½½：½½½½½½½½½½½½＠½½½½．８½½．½½½．
½½
处理系统，对视频图像实现了基于小波变换的超分
辨率复原处理．采用本算法得到的复原图像较½用
传统插值算法得到的复原图像，ＰＳＮＲ值更高，恢
复的细节信息也更多．该系统处理视频图像的实时
性不强，因此如½提高处理速度，仍需进一步
探索．
引
文：邱文胜，牛½红，苏秉华，等．基于ＡＲＭ的嵌入式超
分辨率复原系统设计［Ｊ½．深圳大学学报理工版，２０１５，
３２（３）：３１１．３１６．
参考文献／Ｒ½½½½½½½½½：
［１½Ｓ½
Ｂ½½½½½½，Ｊ½½ Ｗ½½½½，Ｎ½½
½½½½½½½½½½
½½½½½ ½½½½½½½½½½½
½½½
Ｌ½½½½½，½½
½１．Ｓ½½½½－
½½½½½½½½［Ｊ½．Ｏ½½½½½½
万方数据
京公网安备 11010802033920号
Copyright © 2005-2024 EEWORLD.com.cn, Inc. All rights reserved
评论