推荐星级：
- 1
- 2
- 3
- 4
- 5
基于改进深度学习模型C-GRBM的人体行为识别
资料介绍
为了提高复杂视频中人体行为识别的性能,在Gate限制玻尔兹曼机(gate restricted boltzmann machine,GRBM)模型基础上提出一种结合卷积神经网络的Convolutional-GRBM(C-GRBM)模型。利用视频图像平稳性的特点,通过不同的卷积核提取可见层不同的特征,提高模型局部特征提取能力,进而得到更好的人体行为识别率;加入池化操作,对卷积层输出的不同位置上的特征进行聚合统计,降低卷积层输出特征量的维度,从而解决原模型参数过多、容易过拟合等缺陷,进而降低人体行为识别复杂度。在人体行为测试库上的测试表明,本文提出的CGRBM模型能够较好地提高人体行为识别性能。
部分文件列表
| 文件名 | 大小 |
| 基于改进深度学习模型C-GRBM的人体行为识别.pdf | 2M |
部分页面预览
（完整内容请下载后查看）39
1
期
Vol． 39 №． 1
Jan． 2018
第
卷第
哈
尔
滨
工
程
大
学
学
报
2018
1
月
年
Journal of Harbin Engineering University
C-GRBM
基于改进深度学习模型
的人体行为识别
，
毕晓君 冯雪赟
(
，
哈尔滨工程大学 信息与通信工程学院 黑龙江 哈尔滨
150001)
: ，
要 为了提高复杂视频中人体行为识别的性能 在
Gate ( gate restricted boltzmann machine，
限制玻尔兹曼机
摘
GRBM) Convolutional-GRBM( C-GRBM)
模型基础上提出一种结合卷积神经网络的
。
模型 利用视频图像平稳性的特
， ， ， ;
点 通过不同的卷积核提取可见层不同的特征 提高模型局部特征提取能力 进而得到更好的人体行为识别率 加
， ， ，
入池化操作 对卷积层输出的不同位置上的特征进行聚合统计 降低卷积层输出特征量的维度 从而解决原模型参
、 ， 。 ，
数过多 容易过拟合等缺陷 进而降低人体行为识别复杂度 在人体行为测试库上的测试表明 本文提出的
C-
GRBM
。
模型能够较好地提高人体行为识别性能
; Gate
:
;
; ;
限制玻尔兹曼机 卷积神经网络 支持向量机
关键词 深度学习 人体行为识别
DOI: 10. 11990 /jheu． 201612051
: http: / /www． cnki． net/kcms/detail/23. 1390． u． 20170428． 1622． 062． html
网络出版地址
: TP311
: A
: 1006-7043( 2018) 01-0156-07
文章编号
中图分类号
文献标志码
Human action recognition based on improved depth
learning model C-GRBM
BI Xiaojun，FENG Xueyun
( College of Information and Communication Engineering，Harbin Engineering University，Harbin 150001，China)
Abstract: A model of convolutional-gate restricted Boltzmann machine ( C-GRBM) combined with a convolutional
neural network，which was based on the GRBM model，is proposed herein to improve the performance of human ac-
tion recognition in complicated videos． First，by taking advantage of the smoothness of video frames，and extracting
different visible layer characteristics using different convolution kernels，the ability of extracting local model features
and the successful rate of human action recognition can be improved． Second，the operations of pooling were added
to obtain the aggregate statistics of features output by the convolutional layer at different positions． In addition，the
dimensions of features output by the convolutional layer were reduced to overcome defects such as excessive parame-
ters of original model，as well as the high possibility of over-fitting． Consequently，the complexity of human behav-
ior recognition was reduced． Tests based on the human action test database were performed． These tests indicated
that the ability of human action recognition can be improved using the proposed C-GRBM model．
Keywords: deep learning; human behavior recognition; gate restricted Boltzmann machine( GRBM) ; convolutional
neural network; support vector machine
，
近年来 随着模式识别和机器视觉技术的飞速
的行为特征提取方法分为人工设计特征的提取方
［2 － 4］
［7］
， 、
发展 准确 快速地识别视频中的人体行为已经成为
。
基
法
和基于深度学习模型的特征提取方法
， 、 、
一个重要的研究方向 在智能监控 人机交互 医疗
于人工设计特征的行为识别方法主要提取视频的浅
［1］
。
看护等众多领域都有着广泛的应用前景
人体
， ，
层特征 存在不完整性的缺陷 对复杂的人体行为识
行为识别的过程就是通过分析视频序列中人体图像
;
别效果较差 而近年提出的基于深度学习模型的人
， ，
的相关性 提取变化特征 从而确定人体的行为模
体行为识别方法可以无监督地通过训练从视频中获
， 。
式 因此特征提取是其中最关键的一个环节 现有
，
得局部特征 从而提高了复杂人体行为的识别能力
，
。
目前已成为人体行为识别的研究热点
［5］
Hinton
，
提出 作为机器学
深度学习概念由
等
: 2016 － 12 － 06．
: 2017 － 04 － 28．
网络出版日期
收稿日期
:
作者简介 毕晓君
( 1964 － ) ， ， ， ;
女 教授 博士生导师
， 、
习领域的一次革命 目前已在图像处理 语音识别等
( 1992 － ) ，
，
．
冯雪赟
女
硕士研究生
:
通信作者 冯雪赟
，E-mail: fengxueyun@ hrbeu． edu． cn．
。 、 、
问题上成功应用 特别是以微软 谷歌 百度为代表
1
， :
毕晓君 等 基于改进深度学习模型
C-GRBM
的人体行为识别
·157·
第
期
， ，
的互联网公司 利用大数据为训练样本 在文本翻译
、
1
P( h = 1 | x，x') =
j
［6］
1 + exp
(
)
。
－
W x x'
ijk i k
图像识别等方面实现了跨越式发展
∑
ik
［7］
Hinton
，
将深度学习应用于人体行为识别
等
( 5)
GRBM( gate restricted boltzmann machine)
提出了
模
1. 2
卷积神经网络
［5］
，
型 在原有深度学习
RBM
模型 的可见层引入了
( CNN)
，
的基本结构包括两层 分
卷积神经网络
Gate
，
变量 将视频中相邻帧之间的关系作为二
一个
。 ，
别是卷积层和池化层 其中 每一个卷积层都紧跟
，
阶统计特性 相较于只有一阶统计特性的原来模型
，
着一个池化层用来求局部平均 并完成二次特征提
， ，
来说 它具有更好的特征提取能力 提高了人体行为
，
取 网络连接中的权值共享机制也减少了网络自由
。
识别率 但是
，GRBM
，
模型模型参数较多 模型训练
。
参数的个数
，
过程的计算复杂度较高 所以只能应用于较为简单
1 ， 28* 28
如图 所示 以
，
大小的输入图像为例
，
的人体行为数据库 无法满足复杂动作及背景下的
5* 5，
可以理解为
定义第一层卷积层卷积核大小为
5* 5
。
人体行为识别需求
，
的权重矩阵与输入数据进行卷积
随机生成的
GRBM
，
模型上述缺陷 结合视频转化为图
针对
像后具有平稳性的特点 本文拟将卷积神经网络
( convolutional neural network，CNN)
提取输入图像在整个数据库上局部区域的共同特
［8］
，
， 2
性 特征图谱个数为 代表提取两类特征
。
中的卷积策略引
GRBM
，
模型 建立一种带有卷积层和池化层的
入
GRBM
，
模型 可提高人体行为局部特征的提取能力
;
，
同时利用池化层操作降低参数复杂度 进而提高人
。
体行为识别的整体性能
1
深度学习模型
1. 1 GRBM
模型
GRBM
模型的主要思路是通过已知的可见层单
1
CNN
图
的模型示意图
，
元分布捕捉更多关联条件 增加一个代表可见层与
Fig． 1 Schematic diagram of CNN model
、
隐含层关 系的关联层变量
x'，
进而推测出下一时
i
13* 13，
通过不重
第一层池化层卷积核大小为
。 ，
刻的变量值 为了更接近实际情况 在能量函数的
，
叠的卷积方式 对特征图谱池化区域不同位置上的
Gate
，
偏移量 依条
定义过程中会在变量中又增加了
，
特征进行聚合统计 降低第一层提取特征的输出维
，
件转换变量单元 包含有标准偏移量以及
Gate
偏移
，
度 同时保证从卷积层输入的特征具有不变性
。
第
GRBM
量的
的能量函数表示为
，
二层操作原理与前一层相同 卷积层卷积核大小为
E( h，x | x') = － W x h x' －
∑ ijk i j k
5* 5， 2， 5*
特征图谱个数为 池化层卷积核大小为
hx'
h
x'
W h x' －
jk j k
W h －
j j
W x'
k k
( 1)
∑
∑
∑
5。
，
整个过程采用权值共享机制 进而网络中参数的
jk
j
k
。
数量级也会有所降低
卷积神经网络是一种特殊的深层神经网络模
: 1)
: W
，
是一个与三个变量相关的关联矩阵 用来
式中
ijk
; x
h
分别表
j
表示各个参数之前连接概率的权重
和
i
，
型 它的特殊性体现在
卷积计算突出局部计算
。
示可见层与隐含层的分布 以此定义的能量函数的
; 2) ，
结果 网络神经元间的连接是非全连接的 网络
中同一层中某些神经元之间的连接权重是共享的
负数就代表可见层与二项分布的关联层以及隐含层
。
。
的关系
，
上述特性可提高模型局部特征提取能力 同时减少
1
－E( h，x'; x)
p( h，x' | x) =
e
( 2)
z( x)
， ，
了权值的数量 降低了计算复杂度 进而提高网络模
。
其中
型整体性能
－E( h，x'; x)
Z( x) =
e
( 3)
∑
2
C-GRBM
基于
模型的人体行为识别
x'，h
x
是一个关于可见层变量 的标准化函数
i
。
，
对于人体行为识别问题 通常可转化为连续帧
。GRBM RBM
模
根据联合概率分布的公式以及能量函数的定
图像之间的特征提取问题
模型在
，
义 可以推论出
x'
k
h
:
的边缘概率分布
和
j
Gate
，
型基础上引入
为二阶统计特性 提高模型特征提取能力 然而
变量 将相邻帧之间的关系作
1
P( x' = 1 | x，h) =
k
( 4)
，
。
1 + exp
(
)
－
W x h
ijk i
∑
j
，
在模型训练过程中 可见层与隐含层之间的连接
ij
全部评论(0)