推荐星级:
- 1
- 2
- 3
- 4
- 5
结合手势二进制编码和类-Hausdorff距离的手势识别
资料介绍
针对目前动态手势识别方法受手势旋转、平移、缩放的影响,并解决手势识别的实时性问题,提出一种基于手势二进制编码和类-Hausdorff距离模板匹配的手势识别方法.首先,把分割好的手势图像进行标准化处理,求出标准化图像中的手势主方向,建立二维手势直角坐标系,提取空间手势特征;其次,根据前五帧手势图像中手势像素点个数的变化量识别出动态手势类型;然后,用手势二进制描述子从动态手势类型中再筛选出可能的候选手势集合;最后,用类-Hausdorff距离模板匹配方法从候选手势集合中识别出最终手势.主要创新点在于:提出的动态手势类型识别和手势二进制描述子匹配的方法,大大缩短了动态手势识别的时间;提出的结合手势主方向的类-Hausdorff距离方法,不仅对旋转、平移和缩放手势具有不变性,而且对区分度较小的手势也具有较高的识别准确率.实验结果表明,在光照相对稳定的条件下,该方法能够实时准确的实现动态手势识别,总体识别率达到95%以上,对发生缩放的手势识别率能达到92%以上,对发生旋转的手势识别率能达到87%以上.本文算法已经在一个基于手势的人机交互界面中得到应用.
部分文件列表
文件名 | 大小 |
结合手势二进制编码和类-Hausdorff距离的手势识别.pdf | 1M |
部分页面预览
(完整内容请下载后查看)9
Vol. 45 No. 9
Sep. 2017
第
期
电
子
学
报
2017
9
ACTA ELECTRONICA SINICA
年
月
-Hausdorff
结合手势二进制编码和类
距离的手势识别
1,2
1,2
1,2
3
1,2
1,2
1,2
,
,
,
,
,
,
冯志全 杨学文 徐 涛 刘 弘 吕 娜 杨晓辉 徐治鹏
( 1.
,
250022; 2.
,
250022;
济南大学信息科学与工程学院 山东济南
山东省网络环境智能计算技术重点实验室 山东济南
3.
,
250014)
山东省分布式计算机软件新技术重点实验室 山东济南
:
、
、
,
,
摘
要
针对目前动态手势识别方法受手势旋转 平移 缩放的影响 并解决手势识别的实时性问题 提出一种
-Hausdorff
.
, ,
基于手势二进制编码和类
标准化图像中的手势主方向 建立二维手势直角坐标系 提取空间手势特征 其次 根据前五帧手势图像中手势像素点
距离模板匹配的手势识别方法 首先 把分割好的手势图像进行标准化处理 求出
,
,
;
,
;
,
;
个数的变化量识别出动态手势类型 然后 用手势二进制描述子从动态手势类型中再筛选出可能的候选手势集合 最
,
后 用类
-Hausdorff
.
距离模板匹配方法从候选手势集合中识别出最终手势 主要创新点在于 提出的动态手势类型识别
:
,
和手势二进制描述子匹配的方法 大大缩短了动态手势识别的时间 提出的结合手势主方向的类
;
-Hausdorff
,
距离方法
、
,
.
不仅对旋转 平移和缩放手势具有不变性 而且对区分度较小的手势也具有较高的识别准确率 实验结果表明 在光照
,
,
相对稳定的条件下 该方法能够实时准确的实现动态手势识别 总体识别率达到
,
95%
,
以上 对发生缩放的手势识别率
92%
,
以上 对发生旋转的手势识别率能达到
87%
.
以上 本文算法已经在一个基于手势的人机交互界面中得到
能达到
.
应用
:
;
;
;
;
-Hausdorff
关键词
动态手势识别 手势主方向 动态手势类型识别 手势二进制描述子
TP391
0372-2112 ( 2017) 09-2281-11
DOI: 10. 3969 /j. issn. 0372-2112. 2017. 09. 032
类
距离
:
:
A
:
文章编号
中图分类号
文献标识码
URL: http: / /www. ejournal. org. cn
电子学报
Gesture Recognition Based on Combining Gesture Binary
Descriptor and Hausdorff-Like Distance
1,2
1,2
1,2
3
1,2
1,2
1,2
FENG Zhi-quan ,YANG Xue-wen ,XU Tao ,LIU Hong ,L Na ,YANG Xiao-hui ,XU Zhi-peng
( 1. School of Information Science and Engineering,University of Jinan,Jinan,Shandong 250022,China;
2. Shandong Provincial Key Laboratory of Network Based Intelligent Computing,Jinan,Shandong 250022,China;
3. Shandong Provincial Key Laboratory for Novel Distributed Computer Softwave Technology,Jinan,Shandong 250014,China)
Abstract: Since the dynamic gesture recognition algorithm is influenced by rotation,translation and scaling,and real-
time gesture recognition is still a challenging issue,we propose a dynamic gesture recognition algorithm which is based on
the combination of gesture binary descriptor and Hausdorff-like distance template matching. Firstly,we converted the seg-
mented gesture image to the standardized image,then calculated the main direction of gesture in the image,and built a 2D
rectangular coordinate system to extract the gesture features. Secondly,the specific dynamic gesture type can be identified ac-
cording to changes in the amount of gesture pixel points from the top five frames. Next,we used gesture binary descriptor to
select a part of gesture from the specific dynamic gesture type. Finally,the method of Hausdorff-like distance template matc-
hing is used to recognize the final gesture. The main innovation of this paper embodies in two aspects. Firstly,the dynamic
gesture type recognition and the method of gestures binary descriptor matching proposed in this paper greatly shorten the
time cost of dynamic gesture recognition. Secondly,Hausdorff-like distance method with the main direction of gesture not
only has the in-variance on rotation,translation and scaling gestures,but also has a higher recognition rate on smaller ges-
: 2015-02-04;
: 2015-11-13;
:
收稿日期
修回日期
基金项目 国家自然科学基金项目
( No. 2015GGX101025) ;
责任编辑 梅志强
:
( No. 61472163,No. 61603151) ;
( No. 2016YFB1001403) ;
山东省重点研发计划项目
国家重点研发计划项目
( No. XBS1534)
济南大学博士科研基金
2282
2017
电
子
学
报
年
tures. Experimental results show that this algorithm can achieve real-time correct recognition of gestures in relatively stable
light conditions. The overall recognition rate can reach 95% ,the recognition rate of scal-ing gestures is more than 92% and
the recognition rate of rotation gestures is more than 87% . This algorithm has been applied in a human-computer interface
system based on hand gesture.
Key words: dynamic gesture recognition; the main direction of gesture; dynamic gesture type recognition; gesture bi-
nary descriptor; Hausdorff-like distance
效果不好 杨波等[15]提出一种空间分布特征的手势识
.
1
引言
,
别算法 将手势的整体表观特征与手势的关节变化特
,
随着计算机的发展与应用 人与计算机的交互越
( HDF) ,
性结合起来提取手势的空间分布特征
该方法
来越密切 手势交互[1,2]在人机交互领域内的重要性越
.
,
对差异较大的手势有较高的识别率 但对区分度较小
发突出 其中基于视觉的手势识别技术[3 ~ 5]已成为手势
,
,
的手势 识别率不高
.
.
,
交互领域内的一个研究热点 从手势的运动特点出发
基于视觉的手势识别可分为动态手势识别和静态手势
、
为了克服基于视觉的动态手势识别方法受旋转
、
,
,
平移 缩放的影响 识别实时性不高 对相近手势区分度
识别两大类[6,7] 静态手势识别只与手势的位置 轮廓
.
、
、
,
较小等问题 提出一种基于手势二进制描述子和类
-
;
,
纹理等相关 而动态手势是静态手势的时间序列 随着
Hausdorff
.
距离模板匹配的动态手势识别方法 首先根
.
时间的变化手势的形状和位置也发生着相应的改变
据手势像素点个数的变化规律和手势二进制描述子匹
,
、
、
因此 识别效果容易受到手势轮廓 时空位置 移动速率
,
N
配方法对动态手势进行初步识别 选取 种相近的候
. ,
等因素的影响 在基于虚拟人机交互的场景中 我们主
;
选样本 最后用类
-Hausdorff , N
距离模板匹配的思想 从
,
要用手来完成对虚拟界面上不同物体的抓取 移动并
.
种候选样本中识别出最终的手势
. ,
释放 因此 需要大量的动态手势来完成对物体的操作
,
2
手势识别
,
同时保证手势识别的实时性 但是目前动态手势识别
.
方法不能满足本项目应用的需要
王西颖等[8]提出了一种
2. 1
标准化手势图像
为了解决手势识别时不受手势缩放的影响 同时
HMM-FNN
,
模型结构 先把
、
、2D
Z
平面运动与 轴方向运
复杂手势分解为手型变化
HMM
,
提高识别速度 先把手势图像进行标准化处理 即把图
,
,
动三个部分 再用
,
进行建模 最后通过
FNN
模糊
(
像尺寸统一到同一大小 本文采用
32 * 32
的图像大
小
先用肤色分布模型[16]把手势从背景图像中分割出
,
规则推理得到最终的手势分类类别 该方法降低了运
算复杂度 张建忠等[9]提出了一种区间分布概率矩阵
) .
.
,
来 然后再把分割后的手势图像进行标准化处理 如图
,
,
,
模型 首先用加速度传感器获取手势动作的数据 再对
1
,
所示 左图为分割后的手势图像 右图为标准化手势
,
,
这些数据进行预处理得到数据观测点 最后根据观测
.
图像
,
点处的区间分布概率矩阵进行手势识别 该方法能够
,
对动态手势进行快速识别 但是实验者需在手指上佩
[10]提
的手势识别方
算法来确定一个给定的图形的层次结
( HOG)
,
. Li
戴加速度传感器 从而影响了交互的自然性
( HEGM)
等
出了一种利用分层弹性图匹配
, Boosting
法 用
,
,
构 利用梯度方向直方图
提取视觉特征 该方法
[11]利用深度传感
器捕获的深度图进行手势识别 该方法利用潜在的活
:
图像标准化处理步骤如下
99. 85% . Wang
的手势识别率高达
等
:
输入 分割后的手势图像
.
,
:
输出 标准化后的手势图像
.
( PAR)
性区
保证有效的手轨迹避免了额外的时间消
等人[12]利用形态
Step1.
.
求出手势图像的最小外接正方形
,
耗 手势识别率达到
90% . Saeed Nasri
Step2.
把最小外接正方形内手势图像的像素点按
,
学算子和曲线光滑算法提取手势轮廓作 进而构建手
( 3D)
( 1)
.
照缩放式
缩放到标准化图像中
,
动态手势的时空曲面 在此基础上利用
势的三维
x'
z
0
x
ICP ( Iterative Closest Point )
.
算法进行手势匹配 何力
=
( 1)
[
]
[
][ ]
等[13]提出一种基于最大似然准则
距离的手势
[14]提出的多
y'
0
z
y
Hausdorff
,( x',y')
,( x,y)
式中
为标准化图像中像素点的坐标值
,
识别算法 搜索策略采用类似于
Rucklidge
,z = W /W ; z
,
为缩放比率
为源图像中像素点的坐标值
,W
,
,
分辨率搜索方法 缩短了搜索时间 同时也能较好地识
n
o
W
.
为标准化图像的边长
为源图像的边长
,
(
)
别字母手势 但是对部分变形 旋转和缩放 手势识别
n
o
全部评论(0)