推荐星级：

服务机器人语音唇读人机交互技术研究

更新时间：2020-04-03 00:15:35 大小：8M 上传用户：zhengdai 查看TA发布的资源 标签：机器人人机交互 下载积分：3分评价赚积分（如何评价?）打赏收藏评论(0) 举报

资料介绍

本论文围绕助老助残服务机器人课题，以智能轮椅为平台，以语音唇读人机交互方式作为研究对象，重点对唇读识别问题作了深入研究。对目前唇读技术存在的问题作了分析，对各个关键环节提出了相应的解决思路，包括人脸检测和ROI(Region Of Interesting)定位方法、唇读特征提取算法、唇读识别模型以及语音唇读的融合算法，涵盖了语音唇读系统的全部过程。通过大量的实验和研究，我们取得了一些有意义的成果，所有研究成果都在特定人双模态数据库上得到了验证。最后，我们设计了一个实时在线语音唇读人机交互系统，该系统包括软件和硬件两部分，采用上下位机通讯的方式实现了对智能轮椅进行语音唇读控制。本论文的主要研究成果如下：

针对唇读人机交互中的人脸检测和ROI定位问题，首次提出了一种新颖的自适应ROI定位算法。该算法通过选择HSV颜色模型排除了照度分量，利用自适应算法克服了不同个体在肤色和唇色上的差异性，而且同时完成了人脸和ROI定位。为增强算法的鲁棒性，又在包含各色人种的Freret数据库上进行了算法验证。实验表明该算法总体性能指标优于其它ROI定位算法。

通过对现有各种唇读特征提取方法进行比较，首次提出了一种基于LDAO(Linear Discriminant Analysis based on Object)的唇读特征提取算法。在语音与唇读识别应用中传统的LDA(Linear Discriminant Analysis)算法一般以音节、HMM状态等基元为类别，获得的最具判别力的特征投影主轴和识别率不直接相关，影响了识别率。LDAO算法以待识别对象为类别进行线性判别分析，在理论上保证了唇读特征矢量向最具判别能力的主轴投影，基于唇读数据库的实验证明，该算法明显优于现有各种唇读特征提取算法。

针对HMM、ANN模型在模式分类中固有的缺陷，采用了基于支持向量机(Support Vector Machine，SVM)的唇读识别方法。SVM基于最小结构风险的分类原理，一方面解决了小样本下的模式分类问题，另一方面克服了传统HMM分类器诸多不合理的前提假设，从理论上来说，在有限的样本下SVM应该具有最优的分类性能。针对SVM在实际应用中有待解决的问题，如要求输入特征维数...