第1期
2011年1月
电
AC½A
子
学
报
SINICA
Ⅷ.39
N½.1
ELE½:TRON½CA
J½½.2011
压缩传感理论与重构算法
杨海蓉1,一,张成1,丁大为1,韦穗1
(1.安½大学计算智½与信号处理教育部重点实验室。安½合肥2300"39;
2.合肥师范学院数学系,安½合肥230061)
摘要:
压缩传感J靴(C½½½½½½½½½½
S½½½½½½,CS)以远½于N½½½½½½采样频率的非适应性测量和优化方法高概率重
压缩传感;稀疏表示;信号恢复;无线传感½络;模拟一信息½换
文献标识码:
A
构信号.本文介绍了½S的基本理论、重构算法,包括贪婪、凸优化方法及我们提出的MBOOMP算法;同时,采用½½组
成的随机信号进行性½比较的模拟实验,结果表明我们的算法优于传统的OMP算法.
关键词:
中图分类号:TN½½½.72
文章编号:0372.2112(2011)01-0142-07
T½½
T½½½½½ ½½ C½½½½½½½½½ S½½½½½½ ½½½
R½½½½½½½½½½½½½
A½½½½½½½½
YANG H½½.½½½½I ½,ZHANG C½½½91,DING
D½-½½½I,WEI
S½½½
(1.研/½/,½½½½½½½
½½½½½½½/½½½
½。呷½妇½&S匆以№抛,A½½½/U½/½½½½½½,哟瓴,加托230039,踟Ⅺ;
2.M½½A½½½A½伪Ⅻ咖酬,H扣N½½½/№毋,她触,加觚230061.秭如)
½
½½
½[删½½
½½½ ½½½½
A½½½½½½½:½∞叩½涵½½
½½½½½½½,½½
½咖½½
½½½ ½½½-½½½½½½½½ ½朗捌把½既吐½ ½½½½ ½½½½ ½½½½½ ½½½ N½½½½½½ ½½½½½½½½½ ½½½
½½½½½½½,魁:0½吣呲½
½½删½½½½
½½½½ ½½½½½½½½½½½.I½ ½I½½½ ½½½½½,½½ ½½½½½½½½½ ½½½
½½½½½山∞叮½½
½½W½黜½
½½½½½½½ ½½½
½½½½
½½
½½ ½½½
½删髓½½½½∞½½½½½½½½½½.½½½½½½½½½
½½½½½½½ ½½½½½½½½½½
½½½
½½½½½½½½
MBCOMP ½½½½½½½½½.M½½½½½½½½,½½½
½½½・
½½½
½½½½½½½ ½½ ½½½½½ ½½½½½½ ½½½½½ ½½ ½½½½½½½½ ½½ 0 ½½½ 1
½½½½½½ ½½½½ ½½½½½½½
OMP
½½½½½½½½½.
½½I½础½½
½½½½½½½ ½½½½½
½½币砌皿½∞.I½
½½ ½½½½½ ½½½½
½½½½½½½½½ ½½
½½∞
脚½D陆:½½½印∞½½½½½
½½½½½½½;½½½½½½
½½½嫩½½½½½½½;½½½½½/½½½½½½½½;½½½½½½½½脚∞眺;½½½½½½-½½-½½½½½½½½½
½½½½—
1引言
传统的S½½½½½½/N½½½½½½采样定理指出,带限信号的
采样频率必须大于其带½的两倍才½确保完全重构原
始信号.近几年来,½为S½½½½½½/N½½½½½½采样定理的另
一种选择,压缩传感(CS)理论备受大家关注.此理论最
初是由D½½½½½(美½科学院院士)、E
C½½½½½(R½½½½½½½,
C½½½½½½½创始人)及华裔科学家T T½½(陶哲½,2006年菲
尔茨奖获得者)等人提出,2006年IEEE
I½½½½½½½½½½
T½½½½½½½½½½½
½½
框架,它把物理、计算和数值方法有机地结合起来去解
决大而复杂的问题.其随机编码过程非常简单,仅需要
计算非相干投½而不做任½其它的处理,采用“少采样,
巧计算”的原则,把技术负担从传感器½移到后台处理
器.C½的研究思想挑战了S½½½½½½/N½½½½½½采样定理的
理论极限.对信号的测量数量远小于传统S½½½½½½/
N½½½½½½采样数鼍,½½带信号的处理更加有效.而CS
理论精确蕈建原始信号依赖于两个先验:信号的稀疏性
和测量矩阵与测量基之间的非相干性,测量矩阵的限制
等容条件(R½½½½½½½½½
建提供了理论保证.
½½主要思想是对一类具有稀疏先验的信号,先经
小部分非线性采样,其包含足够信息良½逼近信号,再
通过一定类型的线性或非线性解码机制就町高概率精
确重建原始信号(见图½‘7 J),我们采用稀疏投½矩阵和
非常稀疏投½矩阵为测量矩阵。利用基于½.模最小化
模型½½½½½I
½忆½.½.氨=Y,N=4096,小½½图像稀疏
I½½½½½½½
T½½½½½上发表的“C½½½½½½½½½
S½½½½½½”L½
½的文
P½½½½½½½,R伊)旧。也为精确重
章中首次被系统地论述.该理论一经提出,在信号处理
的多个领域得到高度关注和应用,并被美½科技评论评
为2007年度十大科技进展.且CS理论已发展了分布½½
理论。2,31(B刮½½½½等提出)、½—BIT CS理论.4 J(B½½½½½½½等提
出)、B½½½½½½½
CS理论一1(C½½½½等提出)、无限维½½理论
(E½½½等提出)等,成为数学领域和工程应用领域的一大
研究热点.½½理论是信号处理领域新近发展的一种新
收稿日期:21)09-11-03;修回日期:2009—12.30
基金项目:教育部博士点基金(N½.20070357003);。新一代½带无线移动通信½”½家科技重大专项(№.2009ZX½½B006-001412)
万方数据
第1期
杨海蓉:压缩传感理论与重构算法
143
度K=424,(图像来自计算机视觉图像库(½½½½://½½½½½.
½½½½½½½.½½½.½½/一½½½½))).
个病态的求逆问题.½是,原始信号½很强的稀疏性给
出了从M个测量中审建工的希望.事实上,可以通过寻
找满足J,中M个测量向量的最稀疏信号,即信号工是
下列Z。最小化问题的解
½=½'½
½½½½1 ½½½½
½.½
Y
2锄
(4)
½是,众所周知,解决½0最小化问题是一个NP.问
题【81.因此,D½½½½½在文献[9½中提出了基于最小化Z½
模的等价线性优化模型,也就是利用基于线性规划的
基½踪(B½½½½ P½½½½½½,BP)方法求解:
½=½½½ ½½½
圈I利用稀疏投½矩阵和非常稀琉投½矩阵的小½½的
重建结果
C½理论的三个组成要素是信号的稀疏变换(目前
的稀疏变换有离散½弦变换(DCT),小波(½½½½½½½)。
½½½½½½½½,过完备原子分解(½½½½½½½½½½½½
½½½½
½½½½½½½½½—
½½½½)等);稀疏信号的非相干测鼍(目前的测量方式为线
性测量)及稀疏信号的重建算法.其中,快速稳定的重
建算法是将½½推向实用化的关键之一,也是C½的主
要研究内容之一.
I½工II
I B.½
Y=½
(5)
其中咖应该满足限制等容条件(RIP)16J,即
定义2(限制等容条件)
称一个测最矩阵满足①
具有参数(K,½),£∈(0,1)的限制等容条件(RIP),若对
所有的K一稀疏向鼍,有(1一½)0口II
2≤I½咖½I
2≤(1
+½)½I移I½2.限制等容条件声明口的每个K列集合近
似一个正交系统.
通常,基于线性规划的解码器求解需要承个投
½,其中½—½½½½(1+N/K)[引,重建复杂度为0(N3)【引.
C½½½各½和T舯。½½½证明了在一个更强(数量)的条件下,稀
疏恢复问题等价于问题(4)和(5);即
定理。10J(限制等容条件下的稀疏恢复).假设测
(1)
量矩阵。满足具有参数(2½,0.2)的限制等容条件.则
每一个½一稀疏向最工(上面表示为½,)½够½为凸优
2背景知识
定义1(稀疏信号)给定一组基甲=½戗½墨1(为简
单起见,假设½为标准正交基),如果信号工可以表示
成甲中K个基向量的线性组合½式:
Ⅳ
膏
工=∑口拟(或甄)=∑%如。
½=I
』;1
则称工为K稀疏信号.其中系数%=(½,以)=妒缸,可
见对同一信号而言,工和Ⅱ是该信号的两种等价描述½
式,工为信号在时间域上的表述,口为其在甲变换域上
的表述.
事实上,真实和模拟的信号在任½正交基上½未
必有精确的稀疏描述,而是在适½选择的基上具有某
种可压缩的性质.我们称½用K项向量的线性组合良
½逼近的信号为可压缩信号;即
化问题(6)的唯一解从其测量呶中被精确重建.
3信号重建的贪婪算法
从背景知识介绍中,我们知道快速稳定的重建算
法是将CS推向实用化的关键之一.目前蓖建算法主要
地算法包括三类:凸优化方法。贪婪算法和组合算法.
目前文献中提出的凸优化方法有内点方法。11½、预
计梯度法L2 J、以及迭代阈值13J3、迭代硬阈值(1½’)14.6J、
占
工一½量=己口(。)妒(。)
(2)
基于上面的概念,所谓的CS理论为:在适½选择
的基甲=(妒½。仍,…,“)上具有K稀疏描述的,、½采样
基于布雷格曼(B½½½½½½)距离的B½½½½½½迭代【12 J等.凸
优化方法½够高概率得到信号的精确重建,通过解决
一个凸优化问题,用其极小化逼近目标½数.
贪婪算法的主要思想是通过迭代计算工的支撑.
主要包括匹配½踪(MP)19½,正交匹配½踪(OMP)113 J(我
们改进的MBOOMP算法【14 J),以及正则化的正交匹配½
踪(ROMP)L1
5J、逐步正交匹配½踪(S'IOMP)¨6J、压缩采
信号½E四Ⅳ,可通过它在另一组非相干基½=(料,孵,
…,%)上的M(K≤肼《N)个线性投½(测量)Y(½)=
<膏,辨>,½∈½½,2,…,肘½获得精确重建.即
其中,½为测量基.倒称为传感系统,Y为测量向量,
由测量基D构成的M×N维矩阵为测最矩阵.为方便
起见,本文中假设稀疏基甲由单½向最构成,故我们的
目标是通过M(肘《/½)维测鼍向量Y精确重建或者逼
近信号工.
由条件K≤M《Ⅳ看出½S理论主要解决的是欠采
样情况下的信号重建I’½J题,信号工的恢复本质上是一
Y=撅=½%
(3)
样匹配½踪(½½½½MP)¨7I、子宅问½踪(SP)协J等.
组合算法要求对信号高度结构化地采样。经由群
测试快速恢复支撑.这类算法包括傅立叶采样L5 J、链½
踪。悖J、HHS½踪。∞J以及C½½½½M½.M½½½½½½½½½½卸【½41和I.
½½½汪¨的一些算法.
本文中。我们梳理了有关箅法,特别是目前½用频
率比较高并且有代表性的凸优化算法和贪婪算法,详
万方数据
144
电
子
学
报
2011矩
细阐述了主要算法的数学框架.
3.1匹配½踪(MP)与正交匹配½踪(OMP)
以=矗一I<以,%>12,½。=I
½。12/½½;
(3)令½=½+1,寻找索引A。,½得A。=½瑗½掣8。,记
A。=A。一½
我们的目标是从Y=呶重建最稀疏的½,这两种
算法均通过确定。的哪一列参于测量向量Y中来确定
工的支撑,运用贪婪模式去确定每一列.在每次迭代中,
选择①中与Y的剩½部分最相关的列,然后从½中½
取该列对Y的贡献再对其冗½迭代.
在表1至表7中,^表示残差,½表示迭代次数,AI
表示½次迭代的索引集合
表1
MP重建算法:
(1)初始化:½0=Y,½=1
(2)找索引A-,½得:A½2
U½A。½.记:II
R
0 2=II
R½—½
II
2一½½.,以=
亮肛乏・
(4)对½=1,…,½一1计算新的投½和分解系数:
½=½一晟<仇。,风>,C。=C。一<仇.,½>CI
(5)重复(2).(4)直到对于给定的小正数艿,满足
½½袁。0 2≤艿时,迭代停止.
(6)对于,½=½,…,P,我们依次计算;=(帚,
½½½』:黑“I<½½-½,Q>I
(3)计算新的近似毛和残差^:毛=<½I.1.蛾。>,_=½—I一毛
(4)I_I
4-1.如果½<K.返回第(2)步.
薷,…,薷)’,消除;中½—½个最小的系数,并消除
这个系数对应的原子,从而获得新系数向量工。=
MP算法由于信号在已选定原子(测量矩阵的列向
量)集合上的投½的非正交性½得收敛可½需要经过
较多次迭代.常用的正交匹配½踪算法(OMP)则通过
递½地对已选择原子集合进行正交化以保证迭代的最
优性,从而减少了迭代次数.
裹2
OMP重建算法:
(1)初始化½½=,,,A½=声,½=½
(2)找到索引A。,½得:A。=½½½
(帚,帚,…,青)T和原子集合钒,.『=1,…,½・
在这几种基本迭代算法中,每次迭代均只选择与
残差最相关的一列,自然人们会想:“每次迭代是否可
以多选几列呢?”基于这种思想,许多基于OMP的迭代
方法在近几年被提出.
3.2正则化的正交匹配½踪(ROMP)
ROMP结合了贪婪算法的速度、简便和凸优化方法
艘,½<^.1’嘭>I
的强力保证.在具有参数(2K,0.03A/½½½K)的限制等
容条件下,ROMP½从它的测量Y中精确地恢复一个½
稀疏信号工.特别地,ROMP的运行时间与OMP在理论
上是相½的,½在实际中½于OMP.
ROMP算法:
(3)令A。=AI-½U½A。½
(4)计算½嘲:A∈^。½张成空间的正交投½只
(5)计算新的近似毛和残差½½:≈=.P∥,I"½=Y一氟
(6)I-½+½,如果½<K,返回第(2)步.
(7)获得的估计五在索引A½½½的元非零.且在该½½的测量向
量逼近为:妇=∑;扁
^∈AK
OMP算法的运行时间是第二步决定,总的耗费是
D(拖½/、½).
针对OMP中原子选择机制相对新的冗½误差的非
最优性,文献[28½中采用OOMP的选择准则来代替OMP
中的选择准则.½由于OOMP算法没有限制迭代次数,
因此一般有P≥½,也就是说存在误选原子.因此我们
提出一种新的原子选择机制称为改进的后退型最优
OMP算法:14½(MBOOMP),逐步向后剔除多½的原子,直
到剩½原子个数与稀疏度相同为止.(MBOOMP算法如
下:
(1)初始化½½=Y,记靠=%,½=½,…,Ⅳ,取索引
爆羧翥蠹集…J½C…J中:徘½(½)K
I(3)选择:
I(2)鉴定:计算H=<½—½,½>
I标,选两者小的那个,设为.
E½J
½(4)则化:在所有具有可比较坐标的子
个最大的非零坐标构成的集合或者它的所有非零坐I
J½
”
J
½(5)更新:增加如到指标集:
½零I引
≤I
I:II=卿½<%,,,>I,索引集合AI=½.;½½½,正交投½
½数妒½=仇.=½½和分解系数膏½-<仇.,½>,迭代计
数I=½;
(2)对½=1,…,Ⅳ,分别计算:以=靠一识<识,%
>,½。=<靠,,,>
万方数据
第1期
裹4
½P算法
杨海蓉:压缩传感理论与重构算法
145
关于此算法的迭代停止标准,亦可以用一个固定
的迭代次数,实际上也有一些其它简单的停止标准.
(1)初始化:A=I相应口。½绝对值最大的K个指标½。½,=蒯
(½.½^):=½一吼½½
(2)迭代:若竹=0。退出迭代;否则继续.
(3)½=A
U½½’弗绝对值最大的K个指标½。‰’=口½,,,A’=
½相应½。’最大元的K个指标½,½,=½½/(½,½½,)
(4)更新:若½½
½,0>II弗0,退出迭代;否则,设A=A’以及弗=
4信号重建的凸优化方法
解决CS问题的另一种受欢迎的方式是½。模最小
化模型:
工=½½½½½½½½½½ 0
½
8.½
½=∞譬
(6)
4.1迭代硬阈值(IHTB)
迭代硬阈值算法½有效减少每次迭代中的误差,
在一个可达到的最½误差估计的一个常数因子内被保
证.事实上,这个算法需要一个固定的迭代数目,仅仅
依赖于信噪比率的一个½式的算法.
裹7
;,,继续迭代.
输出:满足;11.….Ⅳ½.^:0以及如=口如的估计信号;
3.4逐步正交匹配½踪(鲫脚)
STOMP的目标是从测最向量Y中重建实际信号工,
得到工的一个逼近解;,其中测量矩阵。来自于USE
(U½½½½½½
S½½½½½½½½
E½½½½½½½),½的列是单½球上的独立
I眠算法
(1)初始‘解’知=0,初始残差½½=,。计数器I=0.
(2)计算½I+½=髫I+口’½(,一II却½‘)
同分布点).
裹5
STOMP算法:
(1)初始‘解’工=0。初始残差½½=,,计数器½-½-
(2)计算½=07
½½—I_<½,½½.I>
(3)选择最大的K个元:½。+1-肌(4。+I)
其中见是硬阈值算子,保持数量大小的最大的½个元,设½
其它的元为零.
(4)满足迭代停止条件,否则½-½+1.返回第(2)步
注:这里迭代停止条件可选择具½的适代次教.
(3)通过阈值产生“大”坐标的一个集合:^=½J:I ½I(,)I>½矶½,
以是一个噪音水平,½½是一个阁值参数.
(4)更新支撑估计:^。=AI-½ U^,在支撑^.上得到新的逼近氟,
4.2布雷格曼(B½½½½½½)迭代
布雷格曼迭代正则化由O½½½½等在图像处理的背
景下提出,可应用到压缩传感上.对标准的½I最小化问
为(毛)^=(½X饥)“口½,.其中饥表示。中仅取支撑,对应
的列构成的新矩阵.
(5)更新残差为:½½=,一毗
(6)检查终止条件(例如½=10).若还没到停止时间,假设½:=½+
½,½到步骤(2),若到了停止时间,五=毛.
注:规范噪音水平仉=0^II 2//½。典型的阚值参数取值范围为
2≤½½≤3.
题:½½½½½½½工忆½锄=½½,B½½½½½½迭代方法在一个有限
的步骤内产生精确的解,呈现数值结果.
裹8
3.5可压缩采样的匹配½踪(C½S½MP)
C½S½MP算法本质上是一种贪婪算法.它结合了组
合算法中的思想以保证速度,提供了严格的误差界旧J.
这个分析来源于ROMP上的工½以及C½½½爸½-R½½½½½½-
T½½在凸优化方法上的实现保证.
假设测量矩阵口具有限制等容常数乱,G0.1.
注:D;(“.口)=J(Ⅱ)一.,(口)一<P.½一口>。½(½)=产0
½
0 I为
B½½½½½½½距离,½口∈½½(口)是可½½数,在点"的次梯度中的一个元。
这里遮代根据具½的误盖要求确定进代停止务件.
5模拟实验
我们知道,通常自然图像本身可½非稀疏.½通过
变换,它们可在某种基下稀疏或可压缩.所以基的选择
会对整个C½理论恢复原始图像的质量有较大½响.本
文中,为了在同等条件下客观地反映上述算法的重构
性½.我们采用本身稀疏的0一½随机信号来进行比较,
这也是文献中通常采用的方法.
本节中,我们做了½种验证.首先是对本身稀疏的
0一½随机信号,用表2至表8的7种算法进行重建性½
万方数据
146
电
子
学
报
2011年
验证(见图2);其次,由于重建中测量矩阵的随机性,通
过多次实验来比较上述7种算法以及我们改进的
MBOOMP算法的苇建结果.比较的标准仍然是测量次
数以及稀疏度和算法成功概率之问的关系,比较的结
果如图3和4.
大,相比较而言,C½S½MP以及½P算法精确恢复原始信
号所需测量次数相对较少.从图3和图4中可发现,我
们的M½½½½½算法½然沿用OMP算法每次迭代取一个
元的机制,½在同等稀疏度或者测量次数条件下,信号
重构效果明显½于OMP算法.
÷E臣三垩匠巨更匹四
.;E基量王珏王匾至三王翌
;E匿三匹匠豆正里丑
.
½½S½MP
½½½½½½½½½½½
½½½=5.307I½.0I 5
S½()MP
½½½½½½½½½½½
½½':7.7521½.015
S½½½½½½½ K
.;E墨三歪巫王匾至三王丑
B½½½½½½
½½½½½½½½½½½
.½
E匿量至匠墨正翌丑
½½½--4.7994½-0½ 5
圈3
N=256,M=128时,改变信号的稀疏度,OMP,ROMP,C½S½MP,
S½OMP,IHT,B½½½½½½,SP,MBOOMP算法重建结果的比较
1
½E玉主兰里玉丑曼匠翌三巨壬丑
S½½½½½½½ P½½½½½½
½½½½½½½½½½½
½½½½½½½½½.一½½TI-½½½½½½½½½½
½½½½½½½½½½½
½½F2.97
I I ½.007
09
0 8
O 7
O 6
0 5
O
4
.½E匿三王匠墨芷里丑
½½½=4 8584½一0 I 5
刀
萎-*--黧½½½T∥/斗
M½½½½½
½TT一3.5683½.01 5
1日玉王翌墨翌½王翌
圈2
0 3
0 2
N=512,K=40,M=256时,OMP.ROMP.C½S½MP,STOMP,
B½½½½½½,½½½½,SP,MBOOMP算法的重建结果
基隶忸½督镁岳魏林聪蝴嚣½½
0
1
首先,假设信号长度N=512,稀疏度K=40,测量
次数M=256,采用高斯随机测量矩阵咖∈∥一:½(½,
图4
J)=了1½纷,其中仇.,一N(0,1),上述算法均高概率重
V肘
建原始信号,如图2所示.
从图2可看出,在充分的测量次数下,各种算法均
高概率恢复信号,为了进一步比较各种算法之间的重
建效果和信号稀疏度以及测量次数之间的关系,我们
再次采用本身稀疏的0—1随机信号,通过假设N=
2.56,M=128,改变信号稀疏度,以及假设N=256,K=
30,改变测量次数,分别来进行500次模拟实验,所得结
果如图3、图4所示.
从图3可看出,测量次数一定,随着信号稀疏度的
增加,信号蕈建的概率逐渐减小,在信号非常稀疏的情
况下,均高概率精确蓖建原始信号,½OMP,ROMP成功
N=256,½=30时,改变测量次数,OMP,ROMP。C½S½MP,IHT,
STOMP。B½½½½½½,SP,MBOOMP算法重建结果的比较
:◆
:;2胪矿拶
一涩型.I
M½½½½½½½½½½½^,
/髟//½
6总结和展望
本文主要梳理了重构计算中主要的贪婪算法和凸
优化算法,并通过模拟和比较实验进一步验证了各种
算法的优缺点.我们认为,½然此综述不是穷½的,½
是可以为有关研究和应用提供工具.我们进一步的方
向是寻找更优C½测鼍矩阵类;发展更有效和½复杂度
算法.与此同时,我们将高度莺视有关应用.例如R½½½
大学的J½½½½
R½曲½½
等人在文献[22½中提出压缩传感理论直接模拟一信息
N
½½【½以及密西根大学的T½½½½
变为可½,给出模拟一信息½换的一个框架,并为原型
AIC提出一个完全的晶½管级实现,此项目由DABPA
的模拟.信息通过美½海军研究计划拨款(N66001-06-1
2011).美½威斯康星大学麦迪逊分校的½
H½½½½,A M
½8½½½½和R
U
概率相对较小,而½0渊P,SP算法则以相对较高概率
精确重建原始信号,随着稀疏度的增加,C½S½MP算法的
渐近效果却远差于其它算法,而从图4我们也发现稀疏
度一定,随着测量次数增多,信号重建的概率逐渐增
B½½帅,J
N½½½½等人在文献[23—27½中依
次提出分布式信源.通道匹配的通讯机制,被用来估计
万方数据
评论