《电子技术应用》 www.ChinaAET.com
测控技术与仪器仪表
/*�%*1*2$ 3-2$%-4 5*’62-4-7+ &2. 82#$%01*2$#
基于声源定½技术的智½视频监控系统
张 亚
#
周孟然
#
陈君兰
&
赵苍荣
!
安 ½ 理 工 大 学 电 气 与 信 息 工 程 学 院
"
安 ½ 淮 南
;<;""!
#
!
摘 要
!
针对目前的大部分视频监控系统½是基于图像检测的静态或动态监控
#
提出了在智½视
频监控系统中应用声源定½和摄像头动态采集进行联合判决的方案
$
系统采用麦克风阵列对声源进
行定½
#
然后驱 动摄像 头½动 到声 源½½ 监控
#
通 过图像 分析 给出报 警动½
$
实验结 果表 明
#
该系 统
在½噪 声干扰 的实验 环境下
#
½实 现对声 源的有 效定½
#
并进 行异常 情况报 警
$
关键词
!
视频监控
%
声源定½
%
麦克风阵列
%
联合判决
中 图 分 类 号
!
=>;??@ =8A!;B<
文献标识码
!
C
5+,*DD(7*+, E()*2 62+(,2-(+7 FGF,*6 /4F*) 2+ F2H+) F2H-1* D214D(I4,(2+ ,*1J+2D27G
KLC8M N4O KL.P 3*+7 Q4+& 9L:8 RH+ S4+& KLC. 94+7 Q2+7
TU1J22D 2V :D*1,-(14D 4+) 5+V2-64,(2+ :+7(+**-(+7 O C+JH( P+(E*-F(,G 2V U1(*+1* 4+) =*1J+2D27G O LH4(+4+ ;<;""! O 9J(+4 W
!"#$%&’$(
5+ 2-)*- ,2 F2DE* ,J* X-2/D*6 ,J4, 62F, 2V E()*2 62+(,2-(+7 FGF,*6F 4-* F,4,(1 2- )G+46(1 ,-41Y /4F*) 2+ E()*2 )*#
,*1,(2+O 4 +*Z Z4G /G 126/(+4,(+ 2V F2H+) F2H-1* D214D(I4,(2+ 4+) )G+46(1 62+(,2- 2V 146*-4 (F X-2X2F*) (+ (+,*DD(7*+, E()*2 62+(#
,2-(+7 FGF,*6 [ =J* 6(1-2XJ2+* 4--4G (F HF*) ,2 D214,* FX**1J F(7+4DFO ,J*+ ,J* 99\ 146*-4 (F )-(E*) ,2 62+(,2- F2H+) F2H-1* X2F(#
,(2+ 4+) 4D4-6 (F *]*1H,*) /G E()*2 )*,*1,(2+[ ^(+4DDGO ,J* *]X*-(6*+,4D -*FHD, (+)(14,*F ,J4, ,J* FGF,*6 14+ 41J(*E* ,J* 724D 2V
F2H+) F2H-1* D214D(I4,(+ 4+) 4D4-6 4, 4/+2-64D 12+)(,(2+ H+)*- 4 D2Z_+(2F* *+E(-2+6*+,[
)*+ ,-%.#(
E()*2 62+(,2-(+7 @ F2H+) F2H-1* D214D(I4,(2+ @ 6(1-2XJ2+* 4--4G @ 122X*-4,(E* 0H)76*+,
视频监控系统是日常生产生活中的重要辅助设备
!
它 具有 直观
"
方 便
"
信 息内容 翔实 等特 点
!
从而 在生 产管
理
"
安 防 等 许 多 场 合 得 到 了 广 泛 的 应 用
$ !%
#
随 着 数 字 化
进程的推进
!
设备智½化程 度
!
系 统复 杂化程 度越 来越
高
!
环节 流程
!
设备数 量也 越来越 多
!
传 统的 视频监 控存
在明显的不足
!
必将被数字化的智½视频监控所替代
$
同传 统视频 监控 相比
!
智 ½视 频 监 控 充 分 考 虑 到 系 统 的
先进性
%
高稳定可靠性
!
系统可扩展性
!
实时可操½ 性
!
可集成性等突出的优点
&
成为监控领域研究的主要对
象
$
½外在智½视频监控领域的 研究 起步较 早
!
已 ½成
了相对成熟的产品并成功应用于实际安防工程系统
!
如
美 ½ 的
’()(*+,
"
’*-(+,
"
./0*1,’()*2&
以 色 列 的
34,*
"
5.(6#
展 趋 势
$;%
$
目前
!
智½视频监控领域的研究大多集中在视频图
像 的分 析上
!
主 要通 过计算 机 ½ 件 分 析 和 ½ 取 视 频 源 中
的关 键信 息
!
识别 和跟 踪目 标
$
½ 随 着 安 防 系 统 的 要 求
越来越高
!
单一的视频监控不½完全满足监控的需要
!
比如对可疑物的报警判决通常只是根据对监控画面的
分析来做出的
!
而监控 画面 往往存 在盲 区
!
无法 覆盖 整
个 监控现 场
&
在 被障碍 物挡 ½ 的 地 方 由 于 无 法 采 集 图 像
而½视频监控系统不½发挥½用
$
于是音频监控在近几
年被一些专家提出
!
其目的是 通过传 声器 阵列对 采集 到
的相关声音数据进行分析判断 是否有 异常 情况发 生
!
½
音频监控受环境噪声和混响 的½ 响较大
!
所以 目前 在工
程领域的应用较少
$
针对这一问题
!
本文研究的智½视
频监控系统将声源定½与摄像头视频动态采集结合起
来
!
采用声 音
%
画 面联 合判决 的报 警方式
$
这种 报警 判决
方式对现有的智½视频监控系统将会是一个良½的补
充
!
尤其在 无人 职守环 境下 的 视 频 监 控 系 统 中 具 有 ½ 在
的应用价值
$
47*
!
日 本 的
859:
等
$
与 ½ 外 相 比
&
½ 内 的 智 ½ 视 频 研 究
还有很大的差距
!
实际上还停留在普 通的 ½络视 频监 控
上
$
近年来
!
½内 的大学 等研 究 机 构 已 经 将 注 意 力 集 中
到 智 ½ 视 频 监 控 的 研 究 中
$
因 此
!采
用 智 ½ 视 频 监 控 系 统
提高视频监控的½力
!
必将成为未来视频监控系统的发
‘
基 金 项 目
’
安 ½ 高 校 省 级 自 然 科 学 研 究 重 点 项 目 资 助
T aR;""AC";< W @
安 ½ 理 工 大 学 青 年 教 师 科 研 基 金 资 助 项 目
T b8;""c!d W
A;
欢迎½上投稿
!!!"#$%&’’()"*+,
!电子技术应用"
!"!"
年第
#
期
《电子技术应用》 www.ChinaAET.com
《电子技术应用》 www.ChinaAET.com
测控技术与仪器仪表
!
声源定½的方法分析
#$%&’($)$*+ ,-*+(-. /$01*-.-23 %*4 5*&+(’)$*+&
关 ½ 数
!
+
!
$
&
%
+
&
$
&
%
为 两 个 接 收 信 号 之 间 的 互 功 率 谱
!
,
声源定 ½是 利用传 声器 拾取 语音信 号
!
并 用数字 信
号处理技术对其进行分析和处理
!
继而确定和跟踪声源
的空间½½
"
传统的单个麦克 风的 拾音 范围很 有限
!
且
由于室内各种其他声音的多径反射和混响等因素
!
导致
其接收的信号信噪比½
!
拾取信号的质量差
"
随着传声
器阵列信号处理技术迅猛发展
!
人 们提 出了用 麦克 风阵
列进行语音处理的方法
"
麦克风阵列系统就是由一组按
一定几½结构摆放的麦克风组成的系统
!
对接收到的来
自空间不同方向的信号进行空时处理
!
麦克风阵列具有
去噪
#
声源定½和 跟踪等 功½
!
从而 大大提 高语 音信 号
处理质量
"
目前基于麦克风阵列的声源定½技术分为三
类
!
一是 基 于 最 大 输 出 功 率 的 可 控 波 束 ½ 成 声 源 定
½技术
$
二是基于高分辨率谱估计的声源定½技
术
$
三 是 基 于 时 延 估 计 的 声 源 定 ½ 技 术
"
基 于 时 延
估计的声源定½技术在运算量上优于其他两种方
法
!
实 时性 ½
!
易 于在实 际中 ½成本 实现
"
图
!
是麦 克风 阵列示 意图
!
各麦 克风接 收的 信 号 可
用矢量排列的½式表示为
%
#
&
#
!
&
$!
$
&
%
为 互 功 率 谱 的 加 权 ½ 数
"
这 样 得 到 的 时 延 估 计 为
!
"
!&
4 D9I JDK$
$!
$
"
%
"
根据 式
$C%
选 取 不 同 的 加 权 ½ 数
&
$!
$
&
%
!
可 以 ½ 得
$
$!
$
"
%
有 个 比 较 尖 锐 的 峰 值
!
得 到 最 ½ 的 估 计
效果
"
在实际应用中
!
权½数的选取是一个难点
!
本系
统 ½ 用 的 是 基 于 互 功 率 谱 的 相 ½ 加 权 法
’ L (
./0, 1 233
$.MDA: ,9D>A?=9J 12:>:9DE8F:G 39=AA 3=99:ED<8=> %B
其 中 加 权
½ 数
&
$!
$&%
为
+
!
$&%+
&
$&%
,
1!
!这
种 方 法 通 过 信 号 功 率 谱 的
½一化
!
去除了信号的幅度信息
!
只保留信号的相½特
征
!
对 于 噪 声 和 混 响 ½ 有 较 ½ 的 抑 制 效 果
"
应 用
./0, 1
233
算 法 实 现 时 延 估 计 的 算 法 流 程 图 如 图
&
所 示
"
$$%
$
#
!
%
乘
法
加权½数
器
’
$$%
$
#
!
% (
)
#
#!
$
&
%
*++,
-
$
$!
$
"
% -
峰值
检测
"
!&
图
& ./0, 1 233
算 法 实 现 时 延 估 计 的 算 法 流 程 图
"
声源定½实现方案
$!%
声源
#$’%4%
&
($’)"%5*
$’%
麦克风线性阵列
在实际环境中
!
由于各麦克风所接收的声源信号 易
受 到 噪 声 和 混 响 的 干 扰
!
½ 互 相 关 ½ 数
$
$!
$"%
的 峰 值 不
再明显
!
所以在考 虑 声 源 定 ½ 方 案 的 实 现 时
!
不 仅 要选
择合适的时延估计算法
!
还应考虑½响定½的因素
!
如
环境 噪声
#
房间 混响
#
模 型噪 声
#
声源 信号 的采 样 频 率 与
½分辨率等
!
并兼顾系统的实时处理½力
"
大量环境噪声的频带很½
!
而声源信号的频率范 围
可 近 似 为
C"" N# L"" /F
!
这 样 可 以 利 用
+*O
’ P(
(
+8>8<: *J%
!
!
!
"
"
!
QREA: O:AQ=>A:
’
滤 波 器 滤 除 带 外 噪 声 的 干 扰
"
对 于 带 内
的噪声½响
!
由于信号和随机噪 声的 小波系 数在 不同 尺
图
!
麦克风阵列
度上存在正负奇异性特点
!
可以进行小波频带阈值消噪
法
’S(
处 理
"
根 据 声 源 信 号 的 频 率 范 围
!
声 源 信 号 的 采 样
频 率 必 须 大 于 等 于
P T/F
才 ½ 将 语 音 数 字 信 号 进 行 还
原
"
由 于
./0,1233
算 法 对 语 音 信 号 的 相 ½ 非 常 敏 感
!
因此采样频率越高
!
所获得的相½信息就越精确
!
求得
的估计时延也就越接近真实值
"
½采样率越高
!
导致的
后果是数字化后的数据量越多
!
对数字处理½力的要求
也就越 高
!
所 以必须 在采 样 频 率 和 数 字 处 理 ½ 力 之 间 做
一个折衷考虑
"
兼顾本系统数字处理½力的要求
!
声源
信 号 采 样 频 率 为
#S T/F
!
分 辨 率 为
!U
½
"
由 于 声 源 信 号 是 一 个 非 平 稳 信 号
’ U(
!
在 做 数 字 处 理
分 析 时
!
必 须 近 似 为 平 稳 信 号
"
语 音 信 号 在
&"N#" JA
的
短时间范围内可以近似看½是平稳的
!
因此
!
对一长段
语音信号进行分析和处理时
!
需先分成一些相继的短时
信 号
!
再将 每帧 短时语 音 信 号 视 ½ 平 稳 信 号 来 处 理
"
在
处理麦克风接收的各帧数据时
!
接收到的½前帧中是否
含有语音信号
!
对系统的运 算量½ 响很 大
"
为了 只对 真
正的语音信号进行处理
!
需 对接 收的各 帧数 据进行 语音
式 中
!
%
表 示 声 波 传 播 衰 减 量
!
"
是 一 组 时 延 矢 量
!
*
是
噪声矢量
"
基于时延估计的声源定½是通过估计阵元接
收 信 号 之 间 的 时 延 来 估 计 波 达 方 向
670$689:;<8=> =? 09%
98@: %
"
假 设 一 对 麦 克 风 之 间 的 时 延 估 计 为
"
!
距 离 为
!
!
声 速为
"
!
那么波 达方 向
!
可用 几½ 定½ 估计为
%
!4A8>
1!
""
!
$&%
在基于时延估计的声源定½技术中
!
时延估计的精
度是关系到声源定½精确与 否的关 键因 素
!
时延 估计 的
方法很多
B
广义互相关½数
’C1#(
233$2:>:9DE8F:G 39=AA 3=99:ED%
<8=>
’
方 法 是 最 常 用 的 时 延 估 计 方 法
!
具 有 一 定 抗 噪 声 和
抗混响½力
"
该方法通过求两个信号之间的互功率谱
!
并在频域内给予一定的加权
B
来抑制噪声和混响的½
响
!
再反 变换 到时域
!
得到 两信 号之间 的互 相关 ½ 数
!
其
峰 值 ½ ½ 即 两 信 号 之 间 的 相 对 时 延
"
其 表 达 式 如 式
$C%
%
$
$!
$"%4
!
&
$&%+ $&%+
$!
!
,
&
$&%:
H&!&"
G&
$C%
式 中
!
$
$!
$"%
为 两 个 麦 克 风 接 收 信 号
#
!
$’%
与
#
&
$’%
的 互 相
!电子技术应用"
!"!"
年第
#
期
PC
《电子技术应用》 www.ChinaAET.com
《电子技术应用》 www.ChinaAET.com
测控技术与仪器仪表
$%&’()%*%+, -.+,)./ 0%12+./.34 &+5 6+’,)(*%+,’
频 编 码 器
C77E!!!
组 成
P
摄 像 头
C:: 8:O#E$
采 集 监 控 区
域 的 动 态 视 频
"
并 通 过
C77E!!!
½ 换 成
%RS
数 字 图 像
"
再 通 过
;C6
的
66.
端 口 以
;I7
方 式 传 送 到
C;/7I
#
信号端 点检 测
"
可以 采用 短 时 平 均 ½ 量 的 检 测 方 法 来 鉴
别 语 音 帧
#
在 声 源 定 ½ 方 案 中
"
取 信 号 帧 长 为
0" 23
"
前
后 帧 重 叠
4" 23
"
每
$"" 23
为 一 次 判 决 周 期
"
共 处 理
$"
帧 数 据
#
在 判 决 周 期 内
"
对 每 帧 数 据 进 行 加 窗
--5
分 析
和语 音帧计 数
"
若 检 测 到 足 够 多 的 语 音 帧 数
"
便 认 为 声
源 信 号 活 跃
"
然 后 采 用
6*75 89::
算 法 进 行 声 源 定 ½
#
整个声源定½方案流程图如图
0
所示
#
开始
C::8:O#E$
与
/C8#($
串 口 相 连
"
由 声 源 ½ ½ 决 定 摄 像
头 ½ 动 角 度
"
通 过
/C 8#($
串 口 发 出 信 号
"
控 制 摄 像 头
½ 动
#
存 储 器 包 括
C;/7I
和
-=>3M
"
C;/7I
由
4
片
I5#(T:!OI!O7
构 成
"
容 量 为
04 I
#!O
UAG
"
用 于 存 储 采 集
的 音 视 频 数 据
%
-=>3M
由
4
片
7I4VTS("";
构 成
"
容 量 为
! I
#!O
UAG
"
用 于 引 导 程 序
#
定时循环采样麦克风
阵 列 信 号
’
采 样 频 率
#( )*+ ,
声源信号活跃
!
"
系统的½件设计
系统的½件功½是完成音视频信号的采集
$
分析
$
&
处理
"
并根 据声源 定½ 和 图 像 检 测 结 果 给 出 异 常 情 况 的
报警信息
#
系统的½件在结构上分为主控程序
$
音频采
集程 序
$
声源 定½ 算法程 序
$
视 频采 集程序
$
图 像 检 测 算
法程序和摄像头控制程序
"
各个子程序之间的调度由主
控 程 序 完 成
#
系 统 上 电 后
"
由 主 控 程 序 读 取 启 动 参 数
"
完
成各个功½模块的初始化
"
顺序启动视频采集
$
音频采
集
"
同时控制音视 频的采 集交 替运 行
%
主控 程序 按一定
时间间隔调用声源定½算法程序进行声源定½
"
如果有
声 源 存 在
"
则 主 控 程 序 控 制 摄 像 头 ½ 动 到 声 源 ½ ½ 采 集
视频信息
"
同时调用图 像检 测算 法程序
"
如果 有异常 情
况
"
系统 报警
#
系 统的 ½件 流程图 如图
$
所示
#
-./
滤 波
0"" 1 # $"" *+
%
6*75 8 9::
法 估 计 时 延
小波频带阈值消噪
计算声源角度
$"" 23
判 决 周 期 结 束
!
&
$!4
点 加 窗
--5
分 析
%
结束
语音帧计数
开始
图
0
声源定½方案流程图
!
系统的硬件结构
系统的硬件结构包括控制和算法处理器
$
音频采 集
电 路
$
视 频采集 电路
$
摄像头 控制 电路
$
存储器 等 组 成 部
分
"
其结构框图如图
#
所示
#
控制与算法处理器采用
系统初始化
½动摄像头
视频采集
视频采集
音频采集
图像检测
7;.
公 司 的
<=>?)@AB
系 列 处 理 器
7;C6 8<-$00
D EF
"
7;C6 8
&
<-$00
基 于 由
7;.
和
.BGH=
公 司 联 合 开 发 的 微 信 号 架 构
IC7 ’IA?JK CALB>= 7J?MAGH?GNJH ,
"
将 信 号 处 理 功 ½ 与 通 用
型微控制器所具有的易用性组合 在一 起
"
在 本系统 中完
成各接口电路的控制和音视频算法处理
#
音频信号采集
电 路 由 麦 克 风 阵 列 和 音 频 编 解 码 器
7;!(0O
组 成
"
麦 克
风 阵 列 采 集 空 间 音 频 信 息
"
传 送 到
7;!(0O
½ 换 成 数 字
信 号
P
通 过
;C6
的
C6Q/5
口 以
;I7
方 式 传 送 到
&
是否有声源存在
!
开启声源
定½功½
!
&
是否有异常情况
!
%
声源定½
%
报警
%
C;/7I
#
视 频 采 集 电 路 由 模 拟 摄 像 头
C:: 8:O#E$
和 视
图
$
系统的½件流程图
#
系统测试及实验结果
系 统 测 试 在 一 间 大 小 为
(W4 2
#$W$
2
#0
W0 2
的钢筋混凝土结构的房间中 进行
"
噪 声干 扰和混 响均 不
明 显
"
硬件 结构 按照图
#
进 行 连 接
#
水 平 和 垂 直 方 向 各
放 ½
4
个 麦 克 风
"
麦 克 风 间 距 为
0$ ?2
"
说 话 者 以 麦 克 风
阵 列 为 中 心
"
在 半 径
4 10 2
的 范 围 内 走 动
#
图
#
系统的硬件结构框图
实际测 试过 程中
"
通 过摄 像头 的½动 角度 和主机 端
V#
欢迎½上投稿
!!!"#$%&’’()"*+,
!电子技术应用"
!"!"
年第
#
期
《电子技术应用》 www.ChinaAET.com
《电子技术应用》 www.ChinaAET.com
测控技术与仪器仪表
!"#$%&"’"() *+()&+, -"./(+,+01 2(3 4($)&%’"()$
参考文献
’! (
郑 世 宝
)
智 ½ 视 频 监 控 技 术 与 应 用
’*()
电 视 技 术
+&"", +
-- $!%.,#/,0)
’& (
骆 云 志
+
刘 治 红
)
视 频 监 控 技 术 发 展 综 述
’*()
兵 工 自 动
化
+&"", +&1$!%.! /-)
的监控图像可以看到
!
人站在某一方½发出声音
!
系统
½检测到声源的方½
!
驱 动摄 像头 ½动到 声源 所在的 ½
½
"
如果此时人没有走动
!
系统只是½监控
#
如果连续走
动
!
系统 就会 自动报 警
"
以上结果基本满足设计要求
!
同时也观察到以下 现
象
$
’- (
王 波
+
王 树 勋
+
赵 ½ 平
)
基 于 麦 克 风 阵 列 的 时 延 估 计 新 方
$!%
系 统 在 水 平 方 向 的 定 ½ 效 果 优 于 垂 直 方 向 上 的
定½ 效果
!
这是由 于桌 面
%
地板 的反 射造 成的
"
因 为这 些
反射面离麦克风或声源很近
!
其上的 反射 波与直 达波 时
延差常常小于所设的屏½时间
!
因此算 法不 ½屏½ 掉这
些反射波
!
而且这些反射波的镜像源在垂直方向上分
布
!
并 不½ 响水平 定½
"
法
’*()
吉 林 大 学 学 报
+&""1 +&0 $-%.&&- /&&, )
’# ( 23455 6 7+ 6489:8 ; 6 ) 9<= >=?=@ABCD=E FG@@=BAHCG?
I=H<GE JG@ =KHCIAHCG? GJ HCI= E=BAL’* () M::: 9@A?K 4FGN/
KHCFK+ OP==F< A?E OC>?AB 5@GF=KKC?>+!,Q0 +&# $#%.!&- /!&1 )
’R ( 67:3 * S+ T:3:O9U *+7V43; U 9)5=@JG@IA?F= GJ ;66
A?E 4WSX /TAK=E HCI= E=BAL =KHCIAHCG? C? P@AHCFAB @=Y /
=@Z=@A?H =?YC@G?I=?HK ’*() :V84OM5 *GNIAB G? 4PPBC=E
OC>?AB 5@GF=KKC?> +&""R$!%. &R /-0 )
’0 (
王 大 中
+
李 晓 妮
)
基 于 麦 克 风 阵 列 的 语 音 信 号 实 时 时 延
估 计
’*()
吉 林 大 学 学 报
+&"", +&Q $&%. !-- /!-Q)
$& %
由 于 声 源 定 ½ 和 图 像 检 测 算 法 的 局 限
!
系 统 比 较
适用于安静的环境
!
对于噪声干扰较大
!
移动物½较多
的场合定½误差较大
"
基于麦克风阵列的声源定½技术是目前的研究热
点之一
!
可以广泛用 于视频 会议 系统
%
语音控 制系 统及
实际环境中的语音识别系统
"
本文结合声源定½技术
!
介绍了一种基于麦克风阵列声源定½的智½视频监控
系统
"
同时详细分析了声源定½的实现方案
!
并给出系
统的½硬件结构和设计流程
"
实验结果表明
!
在½噪声
和混响不明显的情况下
!
系统½准确检测到声源的方
½
!
根据定½方向 监控 声源方 向上 的活 动物½
!
进行 异
常情况报警
"
这种声音和画面相结合的报警判决方式½
够更加有效地协助安全人员 处理危 机
!
最 大限度 地减 少
误报和漏报现象
"
’Q ( 4SM) 4SO5/TXR-- TBAF[JC? 5@GF=KKG@ 7A@EA@= 8=J=@=?F=)
&""1 )
’1 ( OH=P<A?= WABBAH)
信 号 处 理 的 小 波 导 引
’W ()
北 京
.
机 械 工
业 出 版 社
+&""#)
’, (
胡 广 书
)
数 字 信 号 处 理
’W()
北 京
.
清 华 大 学 出 版 社
+&""& )
$
收 稿 日 期
$
&"",/ !" /!R%
½者简介
!
张 亚
!
男
!
!,Q1
年 生
!
讲 师
!
主 要 研 究 方 向
$
信 号 检 测 与
处理
%
嵌入式系统
"
!电子技术应用"
!"!"
年第
#
期
,R
《电子技术应用》 www.ChinaAET.com
京公网安备 11010802033920号
Copyright © 2005-2024 EEWORLD.com.cn, Inc. All rights reserved
评论