推荐星级：
- 1
- 2
- 3
- 4
- 5
基于改进3D卷积神经网络的行为识别
资料介绍
鉴于基于视频的人体行为识别中的视频流数据过于庞大,3D卷积核参数设置过多,存在训练时间较长,调参困难等问题,以3D卷积神经网络为基础,提出一种将3D卷积核拆分成空间域和时间域两种卷积核的神经网络结构。两种卷积核分别形成两个数据流进行交互,同时引入残差网络以优化网络结构,减少参数设置。将所提方法 应用于两个行为识别数据集KTH和UCF101上进行训练验证,其行为识别准确率分别为96.2%和90.7%。结果表明,较改进前的神经网络框架,所提方法在保证动作识别准确度的前提下,训练速度提高了7.5%～7.8%。该方法可以有效降低深度学习进行行为识别的硬件要求,提高模型训练效率,并可以广泛应用于智能机器人领域。
部分文件列表
| 文件名 | 大小 |
| 基于改进3D卷积神经网络的行为识别.pdf | 2M |
部分页面预览
（完整内容请下载后查看）计算机集成制造系统
第
卷第
期
８
２５
Ｖｏｌ．２５Ｎｏ．８
Ａｕ ．２０１９
ｇ
ꢀꢀꢀ
年
月
２０１９
ꢀꢀꢀ
８
Ｃｏｍ ｕｔｅｒＩｎｔｅｒａｔｅｄＭａｎｕｆａｃｔｕｒｉｎ Ｓｓｔｅｍｓ
ꢀ ꢀ
ｐ ｇ ｇ ｙ
ꢀ
ꢀ
：
／
ＤＯＩ１０．１３１９６ ．ｃｉｍｓ．２０１９．０８．０１４
ｊ
基于改进
卷积神经网络的行为识别
３Ｄ
， ， ，
张小俊 李辰政 孙凌宇 张明路
（ ，
河北工业大学 机械工程学院 天津
）
３００１３０
ꢀ
：
要 鉴于基于视频的人体行为识别中的视频流数据过于庞大
，
３Ｄ
，
卷积核参数设置过多 存在训练时间较
摘
ꢀ
， ，
长 调参困难等问题 以
，
卷积神经网络为基础 提出一种将
３Ｄ
卷积核拆分成空间域和时间域两种卷积核的神经
３Ｄ
。 ， ， 。
网络结构 两种卷积核分别形成两个数据流进行交互 同时引入残差网络以优化网络结构 减少参数设置 将所
，
上 进 行 训 练 验 证 其 行 为 识 别 准 确 率 分 别 为 和
９６．２％
提方法 应 用 于 两 个 行 为 识 别 数 据 集
和
ＫＴＨ
ＵＣＦ１０１
。
， ， ，
结果表明 较改进前的神经网络框架 所提方法在保证动作识别准确度的前提下 训练速度提高了
９０．７％
７．５％
。
， ，
该方法可以有效降低深度学习进行行为识别的硬件要求 提高模型训练效率 并可以广泛应用于智能机
７．８％
～
。
器人领域
：
关键词 行为识别
；
３Ｄ
； ； ；
卷积神经网络 残差网络 双数据流 深度学习理论
：
：
Ａ
中图分类号
文献标识码
ＴＰ２４２．６
ꢀꢀꢀ
Ｂｅｈａｖｉｏｒｒｅｃｏｎｉｔｉｏｎｍｅｔｈｏｄｂａｓｅｄｏｎｉｍ ｒｏｖｅｄ３Ｄｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ
ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ
ｇ
ｐ
，
，
，
ＺＨＡＮＧＸｉａｏｕｎ ＬＩＣｈｅｎｚｈｅｎ ＳＵＮＬｉｎ ｕ ＺＨＡＮＧＭｉｎｌｕ
ｇｙ
ｊ
ꢀ
ｇ
ꢀ
ꢀ
ｇ
（
，
，
，
）
ＳｃｈｏｏｌｏｆＭｅｃｈａｎｉｃａｌＥｎｉｎｅｅｒｉｎ ＨｅｂｅｉＵｎｉｖｅｒｓｉｔ ｏｆＴｅｃｈｎｏｌｏ Ｔｉａｎｉｎ３００１３０ Ｃｈｉｎａ
ꢀ ꢀ ꢀ ｇ
ｇｙ ｊ ꢀ
ｇ
ꢀ
ｙ
ꢀ
ꢀ
：
ＡｂｓｔｒａｃｔＩｎｖｉｅｗｏｆｔｈｅ ｒｏｂｌｅｍｓｏｆｔｏｏｌａｒｅｖｉｄｅｏｓｔｒｅａｍｄａｔａａｎｄｔｏｏｍａｎ ｓｅｔｔｉｎ ３Ｄｃｏｎｖｏｌｕｔｉｏｎｋｅｒｎｅｌ ａｒａｍｅ
ꢀ ꢀ ꢀｐ ꢀ ꢀ ꢀ ｇꢀ ꢀｐ －
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ｙ
ꢀ
ｇ
ꢀ
ꢀ
，
，
ｔｅｒｓｉｎｈｕｍａｎｂｅｈａｖｉｏｒｂａｓｅｄｏｎｖｉｄｅｏ ｗｈｉｃｈｌｅｄｔｏｌｏｎ ｔｒａｉｎｉｎ ｔｉｍｅａｎｄｄｉｆｆｉｃｕｌｔ ｉｎｔｕｎｉｎ ｔｈｅ ａｒａｍｅｔｅｒｓ ａ
ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀｐ
ꢀ
ꢀ
ꢀ
ｇ
ꢀ
ｇ
ꢀ
ꢀ
ꢀ
ｙ
ꢀ
ꢀ
ｇ
ꢀ
ｍｅｔｈｏｄｔｏｄｉｖｉｄｅ３Ｄｃｏｎｖｏｌｕｔｉｏｎｋｅｒｎｅｌｉｎｔｏｔｗｏｋｉｎｄｓｏｆｃｏｎｖｏｌｕｔｉｏｎｋｅｒｎｅｌｓｔｈａｔｗｅｒｅｓａｃｅｄｏｍａｉｎａｎｄｔｉｍｅｄｏ
ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀｐ ꢀ ꢀ －
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ｍａｉｎｗａｓ ｒｏｏｓｅｄｂａｓｅｄｏｎ３Ｄｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ．Ｔｗｏｄａｔａｓｔｒｅａｍｓｆｏｒｍｅｄｂ ｔｗｏｃｏｎｖｏｌｕｔｉｏｎｋｅｒｎｅｌｓ
ꢀｐ ｐ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀｙ ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
，
ｗｅｒｅｉｎｔｅｒａｃｔｗｉｔｈｅａｃｈｏｔｈｅｒ ｔｈｕｓｔｈｅｎｅｔｗｏｒｋｓｔｒｕｃｔｕｒｅａｎｄｒｅｄｕｃｉｎ ａｒａｍｅｔｅｒｓｅｔｔｉｎｓｗｅｒｅｏｔｉｍｉｚａｔｅｄ．Ｔｈｅ
ｇｐ ｇꢀ ꢀｐ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ｔｒａｉｎｉｎ ｖｅｒｉｆｉｃａｔｉｏｎｗａｓ ｅｒｆｏｒｍｅｄｏｎｔｗｏｂｅｈａｖｉｏｒａｌｉｄｅｎｔｉｆｉｃａｔｉｏｎｄａｔａｓｅｔｓｎａｍｅｄＫＴＨａｎｄＵＣＦ１０１ａｎｄｔｈｅａｃｃｕ
ꢀｐ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ －
ｇ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ｒａｃ ｒａｔｅｏｆｒｅｃｏｎｉｔｉｏｎｂｅｈａｖｉｏｒｗａｓ９６．２％ａｎｄ９０．７％ｒｅｓｅｃｔｉｖｅｌ ．Ｔｈｅｒｅｓｕｌｔｓｓｈｏｗｅｄｔｈａｔｔｈｅ ｒｏｏｓｅｄｍｅｔｈｏｄ
ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀｐ ｐ
ｙ
ꢀ
ｇ
ꢀ
ꢀ
ｐ
ｙ
ꢀ
ꢀ
，
ｃｏｕｌｄｓｅｅｄｕ ｔｈｅｔｒａｉｎｉｎ ｒｏｒｅｓｓｂ ７．５％ ７．８％ａｎｄｅｎｓｕｒｅｔｈｅｔｒａｉｎｉｎ ａｃｃｕｒａｃ ａｔｔｈｅｓａｍｅｔｉｍｅ．Ｔｈｅｒｅｆｏｒｅ
ｇｐ ｇ ꢀｙ ｙ ꢀ
ꢀｐ ꢀｐ ꢀ ꢀ ꢀ ꢀ ꢀ
ꢀ
～
ｇ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ｔｈｉｓｍｅｔｈｏｄｃｏｕｌｄｅｆｆｅｃｔｉｖｅｌ ｒｅｄｕｃｅｔｈｅｈａｒｄｗａｒｅｒｅｕｉｒｅｍｅｎｔｓｆｏｒｄｅｅ ｌｅａｒｎｉｎ ｉｎｂｅｈａｖｉｏｒｒｅｃｏｎｉｔｉｏｎａｎｄｉｍ ｒｏｖｅ
ｇ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ｙ
ꢀ
ꢀ
ꢀ
ꢀ ｑ
ꢀ
ꢀ
ｐ
ꢀ
ꢀ
ｇ
ꢀ
ꢀ ｐ
，
ｔｈｅｅｆｆｉｃｉｅｎｃ ｏｆｍｏｄｅｌｔｒａｉｎｉｎ ｗｈｉｃｈｃｏｕｌｄｂｅｗｉｄｅｌ ｕｓｅｄｉｎｔｈｅｆｉｅｌｄｏｆｉｎｔｅｌｌｉｅｎｔｒｏｂｏｔｓ．
ꢀ ꢀ ꢀ ꢀ ꢀꢀ
ꢀ
ｙ
ꢀ
ꢀ
ꢀ
ｇ
ꢀ
ｙ
ꢀ
ꢀ
ｇ
ꢀ
：
；
；
；
Ｋｅｗｏｒｄｓ ｂｅｈａｖｉｏｒ ｒｅｃｏｎｉｔｉｏｎ ３Ｄ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｒｅｓｉｄｕａｌ ｎｅｔｗｏｒｋ ｄｕａｌｆｌｏｗ ｄａｔａ ｄｅｅ
ｐ
；
ꢀ
ｇ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ｙ
ｌｅａｒｎｉｎ ｔｈｅｏｒ
ｇ
ꢀ
ｙ
， 。
别领域 使人体行为识别准确率迅速提高 深度学习
引言
０
ꢀ
，
是一种对数据进行表征学习的方法 它通过组合低层
特征形成更加抽象的高层特征或属性来实现人体行
传统的基于视频的人体行为识别方法采用的是
［
］
１３
，
［
］
４５
－
－
，
为运动 特 征 提 取 的 自 动 化 其 中 卷 积 神 经 网 络
人工提取运动特征
近些年来随着深度学习理论
，
在图像识别领域的兴起 该理论被应用于人体行为识
（
，
）
在图像特征提
ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋ ＣＮＮ
ꢀ
ꢀ
：
；
修订日期
２０１８０７１９
：
。 ；
２０１９０３２１ Ｒｅｃｅｉｖｅｄ１９Ｊｕｌ ２０１８ａｃｃｅｔｅｄ２１ Ｍａｒ．２０１９．
ꢀ
收稿日期
－
－
－
－
ｙ
ꢀ
ｐ ꢀ
：
基金项目 国家重点研发 计 划 资 助 项 目
（
）。 ： ，
２０１７ Ｙ ＦＣ０８０６５０３ Ｆｏｕｎｄａｔｉｏｎｉｔｅｍ Ｐｒｏｅｃｔｓｕ ｏｒｔｅｄｂ ｔｈｅＮａｔｉｏｎａｌＫｅ Ｒ＆ＤＰｒｏｒａｍ Ｃｈｉｎａ
ꢀ
ꢀ
ｊ
ꢀ ｐｐ
ꢀｙ
ꢀ ｙ
ꢀ ｇ
ꢀ
ꢀ
（ ）
Ｎｏ ．２０１７ Ｙ ＦＣ０８０６５０３ ．
：
张小俊 等 基于改进
２００１
第
期
卷积神经网络的行为识别
３Ｄ
８
Ｐ
－
ｉ
１Ｑ １Ｒ １
－ －
ｉ
ｉ
。 ，
取上表现优异 然而 基于
的特征提取都是针
ＣＮＮ
（
ｘ
＋
ｐ
）（ ）（ ）
ｚ ｒ
＋
ｘｚ
ｙ
ｒ
ｐｑ
＋
ｙ ｑ
（
＋
ｉ
ｊ
）。
ｖ
ｔａｎｈｂ
Ｗｉｍｖｉ １ ｍ
（ ）
－
ｊ
＝
ｉ
ｊ
，
对单张图片进行二维图像的卷积操作 而人体行为多
∑∑∑∑
ｍ
０
０ ｒ ０
＝ ＝
ｑ
＝
ｐ
，
为一系列连贯动作 即每相邻视频帧都有动作关联
，
（）
２
ｘｚ
ｙ
：
ｖ
ｉ
ｊ
，
卷积操作忽略了视频流信息 因此在行为
单一的
２Ｄ
（ ， ，）
位
ｘ ｚ
式中
表示第 层第 个特征映射中
ｉ
ｊ
ｙ
［］
６
。
识别领域难以达到较高的准确率
等
提出
卷
３Ｄ
Ｊｉ
；
ｔａｎｈ
（） ；
为激活函数 为该特征映
ｂ
置处的卷积结果
ｉ
ｊ
ｒ
ｐｑ
，
积特征提取的神经网络系统 将
，
扩展到三维 所
ＣＮＮ
；
ｍ
（ ）
ｉ－１
；
层中特征映射的索引
Ｗｉｍ
射的偏差
为第
ｊ
（
）
可以同时提取时
构建的
卷积神经网络
３Ｄ
３ＤＣＮＮ
（ ，，）
处的值
ｒ
ｐ ｑ
； ， ，
Ｐ Ｑ Ｒ
ｉ
为第 个特征映射位置
ｋ
ｉ
ｉ
间域和空间域特征来捕获多个相邻帧间编码的运动
、
为卷积核的宽度 高度和深度
。
，
信息 最后通过在
和
ＴＲＥＣＶＩＤ ＫＴＨ
数据集上进行
（）
和式
１
（） ，
可以看出
２ ３Ｄ
对比式
卷积增加了时
［］
７
；
Ｚｈｕ
评估说明该方法效果良好
等
认为一个视频动
，
因此
Ｒ
ｉ
，，
，
卷积核为 个维度 其
ｔｈ ｗ３
间维度核
３Ｄ
，
作序列可以通过输入几个关键帧来预测动作分类 其
，
ｈ
。
图
中
ｔ
为时间维度
和
为高和宽的空间维度
ｗ
１
，
余帧均为冗余帧 同时提出用于动作识别的关键帧挖
，
３Ｄ
所示共 个连续动作帧
５
卷积核对相邻 帧图像
３
，
掘模型 在
数据集上进行测试后人体行为识
ＵＣＦ１０１
，
进行卷积滤波 步长为 则卷积操作提取出 个具
３
，
１
［］
８
；
９３．１％ Ｑｉｎ
别的准确率达到
等
提出一种融合不同
。
有时间信息的特征图
类型的经典描述符和多通道
的特征融合方
３ＤＣＮＮ
法 用于人体行为识别 其在 数据集上的识别
，
，
ＫＴＨ
。
准确率达到
９５．１％
，
相比于
模型
模型卷积核参
２ＤＣＮＮ
３ＤＣＮＮ
， ，
数增加了一个维度 导致模型参数成倍增加 从而增
。 ，
加了训练的时间和难度 针对上述问题 本文将
３Ｄ
， ；
卷积核拆分为两个卷积核 以减少参数设置 将输入
，
数据分流 形成空间卷积数据流和时间卷积数据流
，
；
并在两数据流间进行信息交互 在卷积操作过程引
（ ） ，
思想来减少网络训练难度 提
Ｒｅｓｎｅｔ
入残差网络
。
结构框架设计
高网络训练效率
２
ꢀ
卷积神经网络
卷积核拆分
１ ３Ｄ
ꢀ
２．１ ３Ｄ
ꢀ
，
卷积核有 个维度信息 导致神经网络参数
３Ｄ
，
卷积核增加 运行速度变慢 训练时间增长
３
是在猫的视觉皮层生物电信号启发下提
ＣＮＮ
，
，
较
２Ｄ
，
出的 如今已广泛应用于图像特征提取
。
ＣＮＮ
具有
：
例如 设
，
卷积
３×３＝９３Ｄ
卷积核参数的个数为
２Ｄ
、 、 ，
权值共享 稀疏连接 可生成多特征图 同时对于形
，
神经网络参数为之
３×３×３＝２７
核参数的个数为
、 、 。
变 几何变换 光照有一定程度的鲁棒性等优点 传
［］
９
。
前的
倍
在
等
提出的
模
Ｉｎｃｅｔｉｏｎｖ３
－
３
Ｓｚｅｅｄ
ｇ ｙ
ｐ
统
卷积过程表示为
２Ｄ
，
型中 将空间上的
卷积核分解为
和
３×１ １×３
Ｐ
－
ｉ
１Ｑ １
－
ｉ
３×３
（
）（
）
＋
ｙ ｑ
ｘ
ｙ
ｘ
＋
ｐ
ｐｑ
。（）
１
）
ｖ
ｉ
ｊ
ｔａｎｈｂ
＋
ｉ
ｊ
Ｗｉｍｖｉ １ ｍ
（ ）
－
ｊ
＝
ꢀ
（
，
两种卷积核 可使计算量减少
，
并使在融合多
３３％
∑∑∑
ｍ
０
０
＝
ｑ
＝
ｐ
ｘ
ｙ
：
ｉ
ｊ
。
模型后的错误率降低到
１７．３％
（ ， ）
为第 层第 个特征映射中 位置处
ｉ ｘ
ｊ
式中
ｖ
ｙ
，
受其启发 本文将
卷积核拆分为如图
所
２
３Ｄ
；
ｔａｎｈ
（） ；
为激活函数 为该特征映射的
ｂ
的卷积结果
ｉ
ｊ
ｐｑ
，
示的两种卷积核 分别从空间域和时间域进行卷积
；
ｍ
（
ｉ－１
）
；
层中特征映射的索引
Ｗｉｍ
偏差
为第
为第
ｊ
。
后融合相加 图中
：
ｈ
，
为卷积核的高与宽 为
ｔ
和
ｗ
（ ，）
处的值
ｐ ｑ
； ，
为卷积核的
Ｐ Ｑ
个特征映射位置
ｋ
ｉ
ｉ
。
卷积核的时间维度 将大小为 的 卷积
ｔ×ｈ×ｗ ３Ｄ
。
宽度和高度
核拆分为
和
１×ｈ×ｗ ｔ×１×１
两种尺寸的卷积核
，
卷积适用于空间维度的特征计算 无
传统
２Ｄ
，
对视频流进行卷积操作 其中
卷积核对每
，
法处理视频数据中连续帧的动作信息 而
１×ｈ×ｗ
３ＤＣＮＮ
，
卷积核
ｔ×１×１
一视频帧进行二维图像特征提取
，
加入了相邻帧时间维度信息的卷积操作 能实现连
，
对多视频帧进行深度卷积提取帧间信息 从而捕捉
：
续帧动作的处理
全部评论(0)