推荐星级：

基于人脸识别的语音交互系统设计

更新时间：2020-01-01 14:26:49 大小：1M 上传用户：songhuahua 查看TA发布的资源 标签：人脸识别语音交互系统 下载积分：1分评价赚积分（如何评价?）打赏收藏评论(0) 举报

资料介绍

目前,语音交互系统大多数为一对一模式,为了解决这一问题,设计了一套基于人脸识别的语音交互系统,实现了一对一到一对多模式的转换。系统的硬件部分选用开源硬件领域中较为高阶的树莓派3代b+开发板,运行linux操作系统,图像采集装置为500万像素摄像头,音频输入装置为即插即用的USB麦克风;系统软件部分的开发语言为Python这一脚本语言。

部分文件列表

文件名	大小
基于人脸识别的语音交互系统设计.pdf	1M

立即下载

【关注B站账户领20积分】

部分页面预览

（完整内容请下载后查看）

科技创新与应用

年

2019 13

期

设计创新

Technology Innovation and Appliꢀation

基于人脸识别的语音交互系统设计

1 2 2，3* 2，3 2

佘彩东，肖培，宫鹤，胡天立，孟楚，陈本

（1.吉林省热力工程设计研究有限责任公司，吉林长春 ꢀ3ꢁ022；2ꢂ吉林农业大学信息技术学院，吉林长春 ꢀ30ꢀꢀ8；

3ꢂ吉林省农业物联网科技协同创新中心，吉林长春 ꢀ30ꢀꢀ8）

摘

要

：目前，语音交互系统大多数为一对一模式，为了解决这一问题，设计了一套基于人脸识别的语音交互系统，实现了一对一

到一对多模式的转换。系统的硬件部分选用开源硬件领域中较为高阶的树莓派 3 代 bꢃ开发板，运行 linux 操作系统，图像采集装置为

500 万像素摄像头，音频输入装置为即插即用的 USB 麦克风；系统软件部分的开发语言为 Python 这一脚本语言。

关键词

：语音交互系统；人脸识别；树莓派 3 代；Python；API

中图分类号：文献标志码：文章编号：（）

2095-2945 20ꢀ9 ꢀ3-0ꢀꢀꢀ-03

TP39ꢀꢂ4

Abstraꢀt: At present, most of the speech interaction systems are oneꢄtoꢄone modeꢂ In order to solve this problemꢅ a set of

speech interaction system based on face recognition is designedꢅ and the conversion from oneꢄtoꢄone to oneꢄtoꢄmany mode is real-

izedꢂ In the hardware part of the systemꢅ the higher order raspberry pie third generation bꢆdevelopment board in the open source

hardware field is selectedꢅ which runs Linux operating systemꢂ The image acquisition device is a 5 million pixel cameraꢅ and the au-

dio input device is a USB microphone for plugging and playingꢂ The development language of the software part of the system is

Pythonꢅ which is a script languageꢂ

Keywords: speech interaction system; face recognition; Raspberry Pie Generation 3; Python; API

传统的人机交互中信息的输入主要是通过按键或者触世纪 60 年代末 Baum 等人将隐马尔科夫模型（HMM）加入语

摸屏来完成，并通过显示器实现输出，该方式较为被动，且在音识别领域。之后各种新技术的逐渐出现，使得语音识别技术

某些领域中，存在相关缺陷，例如在车载交互系统中，使用该逐渐成熟。现在，语音识别正朝着自然连续语音的方向发展。

方式则会存在相关的安全隐患。

语音交互系统作为目前人机交互中的新宠儿，在工业控

ꢀꢂ2 人脸识别技术

人脸识别是人体生物特征识别方法中的一个主要研究

制、军事、医疗等领域中得到了大量应用，与传统的交互系统方向，它具有主动性、非侵犯性和用户友好等许多优点。最早

相比，语音交互系统更为主动。目前，语音交互系统大多数为的自动人脸识别研究论文见于 ꢀ965 年 Chan & Bledsoe 在

一对一模式，即不管使用用户为何人，系统都会将其归为同一 Panoramic Research Inc 发表的技术报告，到现在已有五十

用户，为了解决这一问题，通过结合人脸识别技术设计了一套多年的历史。人脸识别可分为二维人脸识别和三维人脸识别，

基于人脸识别的语音交互系统，实现了一对一到一对多模式二维人脸识别易受光照、表情等因素的影响，使得识别准确性

的转换。

考虑到整个系统除了负责图像以及语音数据的采集与因此，通过三维信息数据进行人脸识别将是今后的主要研究

处理之外，还需要运行对应的图形界面以及应用程序，而普通手段。

受到限制，而三维人脸识别技术则能够很好地解决这一问题，

系统硬件设计

的单核开发板很难满足设计要求。因此整个系统采用主频为

ꢀꢂ2GHz 的四核树莓派 3 代 b+开发板，该开发板在性能上能够

完美的达到设计要求。

图 ꢀ 是系统的硬件结构图，系统的主控制器为树莓派 3

代 bꢃ开发板，图像采集部分采用可自动调焦的 5ꢁꢁ 万像素摄

像头，语音采集部分采用即插即用的 USB 麦克风，显示部分

为一块 7 寸 HDMI 接口的 LCD 触控屏，最后的语音输出则使

语音识别及人脸识别介绍

1ꢂ1 语音识别技术

语言作为人们生活中最常用的信息交互方式，如果机器用功率放大器加喇叭。

能够通过语言来与人进行信息交互，是不是能够为人们提供 2ꢂꢀ 树莓派 3 代 bꢃ开发板

更便捷的服务，于是语音识别技术应运而生。语音识别技术起树莓派是一个信用卡大小的“卡片电脑”（Single board

始于 2ꢁ 世纪 5ꢁ 年代，由贝尔实验室 Davis 等人使用模拟电 Computer，单板机）。包括运行频率 ꢀꢂ2GHz 的 Broadcom

路实现了一台 1ꢁ 个英文数字的语音识别系统 AUDREY。20 BCM2837 芯片组、一个 64 位四核 ARM Cortex-A53 处理器、

基金项目：长春市科技发展计划资助项目“基于大数据的温室智慧农业研究”ꢀ编号：

18DYꢁ21

）

ꢇ

作者简介

：佘彩东（1978ꢄ），女，吉林省热力工程设计研究有限责任公司自控室，高级工程师。

通讯作者

：宫鹤（1978ꢄ），男，硕士，吉林农业大学信息技术学院，副教授，研究方向：农业物联网。

ꢄ111ꢄ

科技创新与应用

设计创新

年

2019 13

期

Technology Innovation and Appliꢀation

码：

# 加载所需 XML 文件

face_cascade = cv2.CascadeClassifie（r '/opencv/data/lbp－

cascades/lbpcascade_frontalfaceꢂxmlꢄ ）

# 对图片进行灰度化处理

gray = cv2ꢃcvtColor（ image，cv2ꢃCOLOR_BGR2GRAY

图 ꢀ 系统硬件结构图

）

一个双核 Videocore IV@ 多媒体协处理器、一个 ꢀGB

LPDDR2 存储器、四个 USB 2.0 接口、一个 HDMI 视频接口、

一个 RCA 音频接口、一个 CSI 摄像机接口和 40 个 GPIO 口

等，板载蓝牙和 WIFI，可连接电源、键盘、鼠标和网线，具备

PC 机的基本功能。除了具备丰富的外部接口，还具有价格低、

体积小、性能强、功率小、资源多等特点；支持 raspbian、ubun－

tu、Android、Win1ꢁ IOT 等多种操作系统。

# 调用函数检测人脸，返回人脸坐标列表

faces = face_cascadeꢃdetectMultiScale（gray）

在第一步检测到对应人脸之后，第二步就是调用 face++

的 API 接口来进行人脸识别，首先需要将第一步中识别的图

片进行 base64 编码处理；接下来通过 requests 的 post 请求进

行调用，将会返回对应的 JSON 字符串，其中人脸唯一标识字

段是 face_token；然后在本地数据库中搜寻对应标识信息，如

果存在对用用户，则会加载对应用户配置信息用于接下来的

语音识别，如果不存在该用户，则会在本地数据库中添加该用

户，以下为部分代码：

综上所述，树莓派 3 代 b+开发板的性能及其所具有的外

设能够很好地满足系统设计要求。系统主要用到树莓派中的

HDMI 视频接口、RCA 音频接口、CSI 摄像机接口和有一个

USB 接口。

# 对图片进行 base64 编码处理

2ꢂ2 其他模块介绍

img_b64=base64ꢃb64encode（dtsꢃread（））

除了主控制器之外，系统还需要以下各个模块协同工作

才能实现设计要求：

#post 请求，url_search 为请求地址，post_face_compare

为请求数据

微雪 5ꢁꢁ 万像素摄像头：该摄像头兼容树莓派的任何版

本，支持自动调焦，自带红外补光灯，支持红外夜视，感光芯片

为 OV5647。该模块用于系统的图像采集。

r = requestsꢃpos（t url_search，data=post_face_compare）

最后一步就是进行语音交互，在第二步中已经加载对应

的用户信息，也就是说系统现在已经知道服务的对象为谁。该

步骤首先会检测是否有语音信号（通过设置对应阈值实时检

测），有的话通过分别调用语音识别、智能回答、语音合成的

API 接口来进行实时交互，以下为部分代码：

# 获取最大值，通过与阈值进行对比就可以判断是否有

语音信号

USB 麦克风：高灵敏度，有效距离 2 米以上，即插即用，

无需安装任何驱动，适合任何一款带 USB 接口的电脑机型。

该模块用于语音信号的采集。

7 寸 LCD 电容触摸液晶屏：800*48ꢁ 分辨率，显示清晰，

USB 供电，与树莓派 3 代开发板配套使用支持触摸功能。该模

块用于界面的显示。

temp = npꢃmax（audio_data）

TPA3116D2 数字功放模块：带开关、音量可调、电源反接

保护，双声道 2*5ꢁW。该模块用于语音信号的输出。

# 以 wav 格式存储语音数据，filename 为文件名，

save_buffer 为语音数据

系统软件设计

save_wave_file（filename，save_buffer）

3ꢃꢀ 软件运行环境配置

# 对语音信号进行 base64 编码处理

系统通过调用百度语音的 API 接口来实现语音的识别

与合成，调用图灵机器人的 API 接口来实现智能对话，调用

opencv 库来进行人脸检测，调用 face++API 接口来进行人脸

识别。

speech_base64 =base64ꢃb64encode（s_file）ꢃdecode（“utf

8”）

# 使用 post 方法调用语音合成 API

m_res=requestsꢃpost （url=asr_server，headers=m_header，

data=json_data）

配置相关运行环境首先需要移植 Raspbian 操作系统，然

后通过 apt-get 配置好 opencv 相关运行环境，然后使用 pip

安装 API 请求相关库，主要有 pyaudio、numpy、wave、picamera

等，命令使用方法为 pip install pyaudio。最后前往对应网站

申请相关 apikey。

# 调用图灵机器人 API 接口获取回答结果

r=requestsꢃpos（t url，data=jsonꢃdump（s values））

# 使用 mpgꢀ23 播放在线语音数据

osꢃsystem（ꢄmpgꢀ23 “\ %s\”ꢄ%（geturlꢃencode（ꢄutf8ꢄ）））

经过测试，系统除了达到设计要求外，还具有很强的拓展

性，通过修改本地用户配置信息数据库或图灵机器人中的知

识库，系统可用于多种不同场合，例如用于智能家居时，通过

在图灵机器人的知识库中添加对应家电操作语句，就能够识

3.2 软件执行流程

如图 2 所示，系统软件执行流程大致可分为三大步。

第一步为人脸检测，此步骤使用 HaarCascade 来进行人

脸检测，需要用到识别人脸的 XML 文件在安装 opencv 的时

候已经安装完成，除了可以使用自带的 XML 外，也可以自己

训练所需的 Cascade 文件，在此不做详细介绍，以下为部分代

（下转

页）

ꢀꢀ5

ꢅꢀꢀ2-

全部评论(0)

暂无评论

评论赚积分>>

上传资源上传优质资源有赏金

基于人脸识别的语音交互系统设计

资料介绍

部分文件列表

部分页面预览

相关下载

全部评论(0)

热门标签

最新上传

热门下载

资料专题

推荐下载

专栏首页