推荐星级：
- 1
- 2
- 3
- 4
- 5
构建多尺度深度卷积神经网络行为识别模型
资料介绍
为了减化传统人体行为识别方法中的特征提取过程,提高所提取特征的泛化性能,本文提出了一种基于深度卷积神经网络和多尺度信息的人体行为识别方法。该方法以深度视频为研究对象,通过构建基于卷积神经网络的深度结构,并融合粗粒度的全局行为模式与细粒度的局部手部动作等多尺度信息来研究人体行为的识别。MSRDailyActivity3D数据集上的实验得出该数据集上第11~16种行为的平均识别准确率为98%,所有行为的平均识别准确率为60.625%。结果表明,本方法能对人体行为进行有效识别,基本能准确识别运动较为明显的人体行为,对仅有手部局部运动的行为的识别准确率有所下降。
部分文件列表
| 文件名 | 大小 |
| 构建多尺度深度卷积神经网络行为识别模型.pdf | 2M |
部分页面预览
（完整内容请下载后查看）第
卷
第
期
３
光学 精密工程
ꢀ
２５
ꢀ
Ｖｏｌ．２５ Ｎｏ．３
ꢀ
ꢀꢀꢀꢀꢀ ꢀꢀꢀꢀ
ꢀ ꢀꢀ ꢀꢀꢀ
Ｏ ｔｉｃｓａｎｄＰｒｅｃｉｓｉｏｎＥｎｉｎｅｅｒｉｎ
ꢀ ｐ ꢀ ꢀ ꢀ ｇ
ｇ
年
月
ꢀ ꢀ
２０１７
３
Ｍａｒ．２０１７
ꢀ ꢀ
（ ）
１００４９２４Ｘ２０１７０３０７９９０７
－
文章编号
ꢀ
－
－
构建多尺度深度卷积神经网络行为识别模型
１
２
＊
黄江涛
１
，
，
冯
刘
智
欣
ꢀ
ꢀ
（ ，
重庆理工大学 计算机学院 重庆
１．
；
４０００５４
，
广西师范学院 计算机与信息工程学院 广西 南宁
２．
）
５３０００１
： ， ，
摘要 为了减化传统人体行为识别方法中的特征提取过程 提高所提取特征的泛化性能 本文提出了一种基于深度卷积
。 ，
神经网络和多尺度信息的人体行为识别方法 该方法以深度视频为研究对象 通过构建基于卷积神经网络的深度结构
，
。
并融合粗粒度的全局行为模式与细粒度的局部手部动作等多尺度信息来研究人体行为的识别
数
ＭＳＲＤａｉｌＡｃｔｉｖｉｔ３Ｄ
ｙ ｙ
，
所有行为的平均识别准确率为
６０．６２５％
。
据集上的实验得出该数据集上第
种行为的平均识别准确率为
１１ １６
～
９８％
， ， ，
结果表明 本方法能对人体行为进行有效识别 基本能准确识别运动较为明显的人体行为 对仅有手部局部运动的行为
。
的识别准确率有所下降
： ； ； ； ；
词 卷积神经网络 深度学习 人体行为识别 计算机视觉 多尺度
ꢀ
关
键
ꢀ
： ；
ＴＰ３９４．１ ＴＨ６９１．９
ꢀꢀ
：
文献标识码
Ａ
：
／
中图分类号
ｄｏｉ１０．３７８８ Ｏ ＰＥ ．２０１７２５０３ ．０７９９
ꢀꢀ
Ａｃｔｉｏｎｒｅｃｏｎｉｔｉｏｎｍｏｄｅｌｃｏｎｓｔｒｕｃｔｉｏｎｂａｓｅｄ
ꢀ ꢀ ꢀ ꢀ
ｇ
ｏｎｍｕｌｔｉｓｃａｌｅｄｅｅ ｃｏｎｖｏｌｕｔｉｏｎｎｅｕｒａｌｎｅｔｗｏｒｋ
ꢀ
－ ꢀ ꢀ ꢀ
ｐ
ꢀ
１
，
ＬＩＵＺｈｉ ＨＵＡＮＧＪｉａｎ ｔａｏ
２
１
＊
，
ＦＥＮＧＸｉｎ
ꢀ
ꢀ ꢀ
ꢀ
ｇ
－
（
，
１．Ｃｏｌｌｅｅｏ Ｃｏｍ ｕｔｅｒＳｃｉｅｎｃｅａｎｄＥｎｉｎｅｅｒｉｎ
ꢀ
ｇ
ꢀ
ｇ ｆ
ꢀ
ꢀ
ｇ
ｐ
ꢀ
，
，
；
Ｃｈｏｎ ｉｎ ４０００５４ Ｃｈｉｎａ
ｇｑ ｇ
Ｃｈｏｎ ｉｎ Ｕｎｉｖｅｒｓｉｔ ｏ Ｔｅｃｈｎｏｌｏ
ｇｑ ｇ ｙ ｆ ｇｙ
ꢀ ꢀ
ꢀ
，
２．Ｃｏｌｌｅｅｏ Ｃｏｍ ｕｔｅｒａｎｄＩｎ ｏｒｍａｔｉｏｎＥｎｉｎｅｅｒｉｎ
ꢀ
ｇ
ꢀ
ｇ ｆ
ꢀ
ꢀ
ｇ
ｐ
ｆ
ꢀ
， ，
Ｇｕａｎ ｘｉＴｅａｃｈｅｒｓＥｄｕｃａｔｉｏｎＵｎｉｖｅｒｓｉｔ Ｎａｎｎｉｎ ５３０００１ Ｃｈｉｎａ
ꢀ
）
ꢀ
ꢀ
ｇ
ｙ
ｇ
，
Ｃｏｒｒｅｓｏｎｄｉｎ ａｕｔｈｏｒ Ｅｍａｉｌｈｔ ｘｔｃ．ｅｄｕ．ｃｎ
－
：
＠
ｊ ｇ
＊
ｐ
ｇ
ꢀ
： （
Ａｂｓｔｒａｃｔ Ｉｎｏｒｄｅｒｔｏｓｉｍ ｌｉｆ ｔｈｅｆｅａｔｕｒｅｅｘｔｒａｃｔｉｎ ｒｏｃｅｓｓｏｆＨｕｍａｎＡｃｔｉｖｉｔ Ｒｅｃｏｎｉｔｉｏｎ ＨＡＲ
ꢀ
）
ꢀ
ꢀ ꢀ ｐ ｙ
ꢀ
ｇｐ
ꢀ
ꢀ ꢀ
ꢀ
ｙ
ꢀ
ｇ
ꢀ
，
ａｎｄｉｍ ｒｏｖｅ ｔｈｅ ｅｎｅｒａｌｉｚａｔｉｏｎ ｏｆ ｅｘｔｒａｃｔｅｄ ｆｅａｔｕｒｅ ａｎ ａｌｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ ｍｕｌｔｉｓｃａｌｅ ｄｅｅ
ꢀｇ ꢀ ꢀ ꢀ ｇ
ｐ
ꢀ
ｐ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
－
ꢀ
，
ｃｏｎｖｏｌｕｔｉｏｎｎｅｕｒａｌｎｅｔｗｏｒｋｗａｓ ｒｏｏｓｅｄ．Ｉｎｔｈｉｓａｌｏｒｉｔｈｍ ｔｈｅｄｅｔｈｖｉｄｅｏｗａｓｓｅｌｅｃｔｅｄａｓｒｅｓｅａｒｃｈ
ꢀｐ ｐ ꢀ ｇ ꢀ ｐ ꢀ ꢀ ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ ꢀ
（
）
ｏｂｅｃｔａｎｄａ ａｒａｌｌｅｌＣＮＮ Ｃｏｎｖｏｌｕｔｉｏｎ ＮｅｕｒａｌＮｅｔｗｏｒｋ ｂａｓｅｄｄｅｅ ｎｅｔｗｏｒｋ ｗａｓｃｏｎｓｔｒｕｃｔｅｄｔｏ
ｊ ꢀ ꢀꢀｐ
ꢀ
ꢀ
ꢀ
ꢀ
ｐ
ꢀ
ꢀ
ꢀ
ꢀ
ｒｏｃｅｓｓｃｏａｒｓｅ ｌｏｂａｌｉｎｆｏｒｍａｔｉｏｎ ｏｆｔｈｅａｃｔｉｏｎ ａｎｄｆｉｎｅ ｒａｉｎｅｄｌｏｃａｌｉｎｆｏｒｍａｔｉｏｎ ｏｆｈａｎｄ ａｒｔ
ꢀｇ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀｐ
ｐ
ꢀ
－
ｇ
ꢀ
ｓｉｍｕｌｔａｎｅｏｕｓｌ ．ＥｘｅｒｉｍｅｎｔｓｗｅｒｅｅｘｅｃｕｔｅｄｏｎＭＳＲＤａｉｌＡｃｔｉｖｉｔ３Ｄｄａｔａｓｅｔ．Ｔｈｅａｖｅｒａｅｒｅｃｏｎｉｔｉｏｎ
ꢀ ꢀ ꢀ ꢀ ꢀ
ｙ ｙ ｇꢀ
ｙ
ｐ
ｇ
，
ａｃｃｕｒａｃ ｏｎａｃｔｉｏｎｓｒａｎｉｎ ｆｒｏｍ Ｎｏ．１１ｔｏＮｏ．１６ｗａｓ９８％ ｗｈｉｌｅｔｈａｔｏｎａｌｌａｃｔｉｏｎｓｗａｓ６０．６２５％．
ｇ ｇ
ꢀ ꢀ ꢀ
ｙ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ ꢀ
ꢀ
Ｔｈｅｅｘｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｅｄｔｈａｔ ｒｏｏｓｅｄａｌｏｒｉｔｈｍｃｏｕｌｄｔａｋｅｅｆｆｅｃｔｉｖｅｒｅｃｏｎｉｔｉｏｎｆｏｒｈｕｍａｎ
ꢀ ｐ ꢀ ꢀｐ ｐ ꢀ ｇ ꢀ ꢀ ꢀ ꢀ
ꢀ
ꢀ
ｇ
ꢀ ꢀ
ａｃｔｉｖｉｔ ．Ａｌｍｏｓｔａｌｌｏｆｔｈｅａｃｔｉｏｎｓｗｉｔｈｏｂｖｉｏｕｓｍｏｖｅｍｅｎｔｓａｎｄｍｏｓｔｏｆａｃｔｉｏｎｓｗｉｔｈｌｏｃａｌｍｏｖｅｍｅｎｔｓ
ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ
ｙ
ꢀ ꢀ ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
：
；
：
修订日期
２０１７０１１５．
收稿日期
２０１６１２２１
－ －
ꢀꢀ
－
－
：
基金项目 重 庆 市 教 委 科 学 技 术 研 究 基 金 资 助 项 目
（
）； （
广 西 自 然 科 学 基 金 重 点 项 目
Ｎｏ．
Ｎｏ ．ＫＪ１４００９２６
ꢀꢀ
）
２０１４ＧＸＮＳＦＤＡ１１８０３７
光学 精密工程
ꢀ
第
卷
ꢀ
２５
８００
ꢀꢀꢀꢀꢀ
ꢀꢀꢀꢀꢀ
ｕｓｔｉｎｈａｎｄｓｃｏｕｌｄｂｅｒｅｃｏｎｉｚｅｄｅｆｆｅｃｔｉｖｅｌ ．
ꢀ ꢀ ꢀ ꢀ
ｊ ꢀ ꢀ ｇ ｙ
： ； ； ；
Ｋｅ ｗｏｒｄｓ ｃｏｎｖｏｌｕｔｉｏｎｎｅｕｒａｌｎｅｔｗｏｒｋ ｄｅｅ ｌｅａｒｎｉｎ ｈｕｍａｎａｃｔｉｖｉｔ ｒｅｃｏｎｉｔｉｏｎ ｃｏｍ ｕｔｅｒｖｉｓｉｏｎ
ꢀ
；
ꢀ
ꢀ
ｐ
ꢀ
ｇ
ｙ
ꢀ
ｇ
ｐ
ꢀ
ｙ
ꢀ
ｍｕｌｔｉｓｃａｌｅ
－
； ，
泛化到其他数据 计算开销太大 很难做到实时
。
性
深度学习能自动提取隐藏在数据间的多层特
引 言
１
ꢀ ꢀ
， ，
征表示 已经成功应用于语音识别 图像识别与分
，
目前 有关人体行为识别的研究越来越引起
， 。
类 分 割 等 领 域 鉴 于 深 度 学 习 的 上 述 优 点
，
［ ］
１０
，
计算机视觉研究工作者的重视 并已广泛应用于
等 人
运 用 独 立 子 空 间 分 析
Ｑｕｏｃ Ｖ．Ｌｅ
ꢀ
， ， ，
自动监控 事件检测 人机接口 视频获取等各个
（
，
）
算法自动
ＩｎｄｅｅｎｄｅｎｔＳｕｂｓａｃｅＡｎａｌｓｉｓＩＳＡ
ｐ
ꢀ
ｐ
ꢀ
ｙ
。
领域 传统的人体行为识别方法主要基于人工设
，
学习视频数据中稳定的时空特征 然后使用深度
，
计 特 征 如 方 向 梯 度 直 方 图
（
。 ［ ］
的多层表示 文献 利用
１１
结构学习
Ｈｉｓｔｏｒａｍｓ ｏｆ
ｇ
ꢀ
ＩＳＡ
ＣＮＮ
［］
１
） ，
运 动 历 史 图 像
，
Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔ ＨＯＧ
ꢀ
，
构造多层深度结构 提出 了
，
算法 用于
ＰＡＮＤＡ
［］
２
（
，
ＭｏｔｉｏｎＨｉｓｔｏｒ Ｉｍａｅ ＭＨＩ
ｇ
）
，
等 然后采用支
（ 、 、
识 别 人 的 属 性 如 性 别 发 型 表 情 等
）。
ꢀ
ｙ
ꢀ
［］
３
持向量机 等分 类 器 对 提 取 的 特征 进行 分 类 识
［ ］
１２
方法也是基于
构建深度神经网
ＤｅｅＰｏｓｅ
ｐ
ＣＮＮ
［］
４
。
， ，
络 该方法不但用于图像中人体姿势的识别 也对
别
等人 通过提取视频中有代表性
Ｗａｎｉｎ Ｌｉ
ｑ ｇ
（
，
）
来表示人体
Ｂａ ｏｆ３ＤＰｏｉｎｔｓＢＯＰｓ
ｇ ꢀ
。 ［ ］
图像中的目标定位进行了探索 文献 则基于
１３
的
词袋
３Ｄ
ꢀ
，
的一系列姿势 然后以
， ，
限制波尔茨曼机 构造出自举深度信念网络 用于
为点构建人体行为
ＢＯＰｓ
［
］
１４
等人 在其最新的研
，
图 通过计算行为图上每一条路径的概率进行人
。
Ｋａｉｍｉｎ Ｈｅ
ｇ
ꢀ
人脸的识别
。
体行为识别 文献
［］
研究了运动背景下的行为
２
，
的深度神经网络 其
究中同样使用了基于
ＣＮＮ
，
识别 首先提取人 体 的
，
特征 然 后 用
，
贡献在于使用空间池化技术对输入进行处理 从
ＭＨＩ
ＨＯＧ
，
进行特征描述 最后使用高斯混合模型
（
，
而使得该算法能对任何大小的图像进行分类 而
Ｇａｕｓｓｉａｎ
，
Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ ＧＭＭ
ꢀ
）
。
进 行 行 为 的 分 类 识 别
传统基于 的深度学习方法需要将输入规范
ＣＮＮ
［］
５
等 人 则 利 用 深 度 视 频 中 的 骨 架 信
ｇ
。
化到统一尺寸 为了提高深度学习算法的泛化性
Ｊｉａｎ Ｗａｎ
ｇ
ꢀ
［ ］
１５
，
息 通过逐帧计算每个关节相对其他关节的位置
，
，
等人 提出了网络嵌套的思想 即网
ＭｉｎＬｉｎ
能
ꢀ
（
。
络中的某一个节点可以嵌套一个网络进行学习
和每个 关 节 的 局 部 占 位 模 式
ＬｏｃａｌＯｃｃｕａｎｃ
ꢀ
ｐ ｙ
， ），
提 出 了
ＰａｔｔｅｒｎｓＬＯＰ
［ ］
不但深刻剖析了基于
１６
组 合 模 型 来 描
文献
的深度神经
ａｃｔｉｏｎｌｅｔ
ＣＮＮ
［］
６
［ ］
１５
等人 的思
。
，
网络的思想 而且还借鉴了
ＭｉｎＬｉｎ
述人体行为
和
ＬｕＸｉａ Ｊ．Ｋ．Ａ ａｒｗａｌ
ｇｇ
先抽取
ꢀ
ꢀ
（
， ，
想 提出了一个更深层次的网络 取得了较好的
深 度 视 频 的 时 空 兴 趣 点
ＳａｔｉｏＴｅｍ ｏｒａｌ
－
ｐ ｐ
， ），
然后以各
ＩｎｔｅｒｅｓｔＰｏｉｎｔｓＳＴＩＰｓ
ꢀ
，
。
效果
为中心
ＳＴＩＰ
， ，
综上 基于特征提取的算法时间开销太大 难
构造 出 表 示 人 体 行 为 的 深 度 立 方 相 似 特 征
（
，
Ｄｅｔｈ ＣｕｂｏｉｄＳｉｍｉｌａｒｉｔ Ｆｅａｔｕｒｅ ＤＣＳＦ
ｐ ꢀ
）。
。 ，
以实现实时处理 近些 年 来 基于
受
的 深 度
ＣＮＮ
ꢀ
ｙ
ꢀ
，
，
神经网络在人工智能领域的应用较为广泛 然而
思 想 的 启 发
和
Ｚｉｃｈｅｎ
ｇ
ＨＯＧ
Ｏｍａｒ Ｏｒｅｉｆｅ
ꢀ
ｊ
［］
７
、 、
关于它的研究主要集中在图像识别 分割 定位等
针对深度视频设计了方向四维法线直方图
Ｌｉｕ
（
，
Ｈｉｓｔｏｒａｍ ｏｆＯｒｉｅｎｔｅｄ４Ｄ Ｎｏｒｍａｌｓ ＨＯＮ４Ｄ
ꢀ
）
，
方面 对基于视频的人体行为识别的研究仍比较
ｇ
ꢀ ꢀ
。
特征 为 了 同 时 强 调 人 体 轮 廓 和 运 动 的 作 用
，
。
，
视频 深度视频能提供
ＲＧＢ
少
同时相较于传统
［］
８
，
人体 的 三 维 几 何 信 息 而 且 对 光 线 变 化 不 敏
和
则对深度运动
Ｃｈｅｎａｎ Ｚｈａｎ
ｙ ｇ
ꢀ
ＹｉｎｌｉＴｉａｎ
ｇ ꢀ
ｇ
［
］
１７
。 ，
基于 此 本 文 以 深 度 视 频 数 据 为 研 究 对
（
，
ＤｅｔｈＭｏｔｉｏｎＭａ ＤＭＭ
ｐ ꢀ
ꢀ ｐ
） ，
特征进行扩展 提
图
感
（
ＤＭＭ Ｅｄｅ Ｅｎｈａｎｃｅｄ ＤＭＭ
ｇꢀ
，
，
象 通过构建基于
，
的深度神经网络结构 并
出 了 边 加 强
ＣＮＮ
ꢀ
２
ꢀ
Ｅ ＤＭＭ
）
特征
。
融合全局的人体行为信息和局部的手部动作等多
，
尺度信息 使用传统的二维
基于人工特征提取的人体行为识别的研究取
来研究三维的
ＣＮＮ
［］
９
，
。
人体行为识别 本文的创新在于
：
得了很多优秀成果
然而也存在一些难以解决
： ，
的问题 提取的特征对训练数据具有依赖性 不易
（）
使用图像处理中的二维
１
构 建 深 度
ＣＮＮ
全部评论(0)