推荐星级：

融合局部纹理和形状特征的人脸表情识别

更新时间：2019-12-30 08:42:44 大小：3M 上传用户：IC老兵查看TA发布的资源 标签：人脸表情识别 下载积分：1分评价赚积分（如何评价?）打赏收藏评论(0) 举报

资料介绍

针对局部二值模式(LBP)、中心对称局部二值模式(CS-LBP)和梯度方向直方图(HOG)的不足进行改进,该文提出中心对称局部平滑二值模式(CS-LSBP)和绝对梯度方向直方图(HOAG),并提出一种融合局部纹理特征和局部形状特征的人脸表情识别方法。该方法首先采用CS-LSBP算子和HOAG算子分别提取人脸表情图像的局部纹理特征和局部形状特征,然后使用典型线性分析法(CCA)进行特征融合,最后利用支持向量机(SVM)进行表情分类。在JAFFE人脸表情库和Cohn-Kanade(CK)人脸表情库上的实验结果表明,改进的特征提取方法能更加完整、精确地提取图像的细节信息,基于CCA的特征融合方法能充分发挥特征的表征能力,该文所提人脸表情识别方法取得了较好的分类识别效果。

部分文件列表

文件名	大小
1577666558融合局部纹理和形状特征的人脸表情识别.pdf	3M

立即下载

【关注视频号领20积分】【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）

第 40 卷第 6 期

2018 年 6 月

电

子

与

信

息

学

报

Vol.40No.6

Jun. 2018

Journal of Electronics & Information Technology

融合局部纹理和形状特征的人脸表情识别

①②

①

胡

敏^*①②

滕文娣

王晓华

许良凤

杨娟

①

(合肥工业大学计算机与信息学院合肥 230009)

(情感计算与先进智能机器安徽省重点实验室合肥 230009)

要：针对局部二值模式(LBP)、中心对称局部二值模式(CS-LBP)和梯度方向直方图(HOG)的不足进行改进，

②

摘

该文提出中心对称局部平滑二值模式(CS-LSBP)和绝对梯度方向直方图(HOAG)，并提出一种融合局部纹理特征和

局部形状特征的人脸表情识别方法。该方法首先采用 CS-LSBP 算子和 HOAG 算子分别提取人脸表情图像的局部

纹理特征和局部形状特征，然后使用典型线性分析法(CCA)进行特征融合，最后利用支持向量机(SVM)进行表情分

类。在 JAFFE 人脸表情库和 Cohn-Kanade(CK)人脸表情库上的实验结果表明，改进的特征提取方法能更加完整、

精确地提取图像的细节信息，基于 CCA 的特征融合方法能充分发挥特征的表征能力，该文所提人脸表情识别方法

取得了较好的分类识别效果。

关键词：人脸表情识别；中心对称局部平滑二值模式；绝对梯度方向直方图；典型相关分析

中图分类号：TP391.4

文献标识码：A

文章编号：1009-5896(2018)06-1338-07

DOI: 10.11999/JEIT170799

Facial Expression Recognition Based on Local Texture and Shape Features

①②

①

HU Min

TENG Wendi

WANG Xiaohua

XU Liangfeng

YANG Juan

①

(School of Computer and Information of Hefei University of Technology, Hefei 230009, China)

②

(Anhui Province Key Laboratory of Affective Computing and Advanced Intelligent Machine, Hefei 230009, China)

Abstract: In order to improve the inadequacies of Local Binary Pattern (LBP), Center-Symmetric Local Binary

Pattern (CS-LBP) and Histogram of Oriented Gradient (HOG) algorithm, Center-Symmetric Local Smooth

Binary Pattern (CS-LSBP) and Histogram of Oriented Absolute Gradient (HOAG) are proposed, and a facial

expression recognition method based on local texture and local shape features is proposed in this paper. Firstly,

CS-LSBP and HOAG are used to extract two local features of expression image of the face. Then, Canonical

Correlation Analysis (CCA) is used to fuse two local features. Finally, Support Vector Machine (SVM) is performed

for the expression classification. Experimental results on JAFFE and Cohn-Kanade (CK) facial expression

databases show that, the improved feature extraction method can extract the detail information of the image more

completely and accurately. And the fusion method based on CCA can give full play to the representation ability of

each feature. The facial expression recognition method proposed in this paper obtains a better recognition effect.

Key words: Facial expression recognition; Center-Symmetric Local Smooth Binary Pattern (CS-LSBP); Histogram

of Oriented Absolute Gradient (HOAG); Canonical Correlation Analysis (CCA)

1 引言^

视^[13]。由于每个人的外貌和表情表达方式的不同，

人脸表情图像中所提取的特征常含有个体信息，这

种差异性信息大大增加了人脸表情识别的难度。如

何提取鲁棒性和表征能力较强的特征，并减弱差异

性信息的不良影响是人脸表情识别领域一个备受关

随着智能化时代的来临，人脸表情识别作为人

机交互的重要组成部分，越来越受到广大学者的重

收稿日期：2017-08-07；改回日期：2017-12-28；网络出版：2018-03-14

*通信作者：胡敏

基金项目：国家自然科学基金项目(61672202, 61432004, 61502141)，

国家自然科学基金-深圳联合基金重点项目(U1613217)，安徽高校省

级自然科学研究重点项目(KJ2017A368)

Foundation Items: The National Natural Science Foundation of

China (61672202, 61432004, 61502141), The National Natural

Science Foundation of China-Shenzhen Joint Foundation (Key

Project) (U1613217), The Key University Science Research Project

of Anhui Province (KJ2017A368)

注的研究热点^[46]

。

目前用于表情特征提取的方法主要有局部二值

模式(LBP)^[7]，梯度方向直方图(HOG)^[8], Gabor 小

波^[9]和主动外观模型(AAM)^[10]等算法。LBP 是由

Ojala 等人^[11]提出的一种有效的局部纹理描述算子，

计算简单，且具有一定的灰度不变性和旋转不变性，

因此广泛用于模式识别领域，并涌现出了很多改进

第 6 期

胡

敏等：融合局部纹理和形状特征的人脸表情识别

1339

算法。Heikkilä等人^[12]提出了中心对称局部二值模式

(CS-LBP)，在有效提取局部纹理特征的同时，降低

了特征维度。但 LBP 只考虑了中心像素点与其邻域

像素点灰度值之间的对比关系，忽略了邻域像素点

灰度值之间的相互关系，丢失了部分结构信息，而

CS-LBP 忽略了中心像素点的作用，且存在阈值无

法确定、只能从实验中寻求最优值的问题。受文献

[13]的启发，本文提出一种能描述图像局部纹理平滑

度的算子—局部平滑二值模式(LSBP)，并与 CS-

LBP 特征相结合，组成中心对称局部平滑二值模式

(CS-LSBP)，使得所提特征更加全面、充分。

HOG 算子通过提取像素值变化的方向信息和

幅值信息，并统计梯度方向密度来反映图像子区域

的局部形状特征。该算法计算复杂度低，提取特征

效果好，且对图像的几何形变和光照变化具有一定

的鲁棒性，是经典的特征提取方法之一。杨利平等

人^[14]提出的相对梯度直方图特征(RGHF)，有效地克

服了非均匀光照对识别的影响。然而传统方法在求

取梯度信息时未考虑中心像素点的作用，基于此，

本文改进了梯度计算方法，提出绝对梯度方向直方

图(HOAG)，使得所求梯度更具精确性和区分性。

不同的特征提取方法往往有其优势和劣势，为

了弥补彼此的不足，充分发挥特征的鉴别能力，达

到更好的识别效果，越来越多的学者开始研究基于

CS-LBP 算子是通过计算 4 个梯度方向上处于

中心对称的两像素点灰度值的差异来对图像进行编

码，具体编码方式为

CS-LBP_R,N(c)  ^^{N /2 1}S p  p

2ⁱ



(3)



_



i N /2



i0

1, x T



S(x) 

(4)





0, 其它





其中，表示图1中圆形区域的半径(

表

R  1

示邻域像素点的个数(

_c表示中心像素点

_i表示邻域像素点i (i  0,1,,(N /2)

的灰度值，为阈值。



的灰度值，

1))

图 1 CS-LBP(1,8)算子

2.2

中心对称局部平滑二值模式

由于 LBP 算子只比较了中心像素点与其邻域

像素点灰度值的大小，未考虑邻域像素点相互间的

灰度值差异，而 CS-LBP 算子只考虑了 4 个梯度方

向上处于对称位置的像素点灰度值的变化，忽略了

中心像素点的作用，且阈值难以在理论上寻找出最

优值，只能通过实验获得。基于此，本文提出一种

局部平滑二值模式(LSBP)，并将其与 CS-LBP 算子

相结合，提出中心对称局部平滑二值模式 (CS-

LSBP)。LSBP 算子是通过判定中心像素点灰度值

是否在各梯度方向上两邻域的灰度值范围之内来对

图像进行编码，如果在这个范围内，标记为 1，否

则标记为 0。LSBP 算子能较好地度量图像的局部纹

多特征融合的人脸表情识别方法。刘帅师等人^[15]

将

不同方向上的 Gabor 特征进行融合，并结合分块直

方图来表征表情图像。文献[16]采用典型相关分析

(CCA)方法对所提取特征进行融合，有效地消除了

特征间冗余信息，获得了较好的表情识别效果。文

献[17,18]将面部几何特征和纹理特征相结合，充分

利用人脸的结构特性和纹理信息，增强了表情特征

对个体差异的鲁棒性。本文综合利用人脸表情图像

的局部纹理信息和局部形状信息，并采用 CCA 对两

者进行融合，提出了一种融合局部纹理特征和局部

形状特征的人脸表情识别方法。

理平滑程度，具体编码方式为

LSBP (c)  ^{N /2 1}S' p , p , p

2ⁱ



^

(5)



_

R,N

i N /2



i0



1, y  [x,z]

0, 其它



2 中心对称局部二值模式及其改进

2.1

局部二值模式和中心对称局部二值模式



S'(x,y,z) 

(6)







将

CS-LBP

的阈值设为

，并串联

LSBP

算子

LBP

算子是通过比较中心像素点与邻域像素

组成 CS-LSBP。表 1 为 LSBP 和 CS-LBP 的不同取

点灰度值的大小对图像进行编码，具体编码方式为

LBP(c)  ^P1s x x 2ⁱ

值相结合时， p_i

_c和 p_{i N /2}_之间的关系。由表 1



(1)



_c



i0

可以看出，

CS-LSBP

能很好地表示出梯度方向上

个像素点灰度值之间的相互关系，即它不但能反映

出中心对称的两像素点灰度值之间的大小关系，也

能反映出中心像素点与其周围邻域灰度值之间的大

小关系，具有较强的纹理表征能力。

1, x  0





s(x) 

(2)

0, x  0





其中，表示邻域像素点的个数

(

_i表示像



素点

(





)

的灰度值。

全部评论(0)

暂无评论

评论赚积分>>

上传资源上传优质资源有赏金

融合局部纹理和形状特征的人脸表情识别

资料介绍

部分文件列表

部分页面预览

相关下载

全部评论(0)

热门标签

最新上传

热门下载

推荐下载

专栏首页