积分商城

最新搜索： CISPR 25 2021 Flash_Loader_Demonstrator gl3523 解密 蓝牙协议 中颖
您现在的位置是：首页 > 技术资料 > 基于多形态红外特征与深度学习的实时驾驶员疲劳检测
推荐星级：
  • 1
  • 2
  • 3
  • 4
  • 5

基于多形态红外特征与深度学习的实时驾驶员疲劳检测

更新时间：2019-12-30 02:03:57 大小：2M 上传用户：IC老兵查看TA发布的资源 标签：实时驾驶员疲劳检测 下载积分：1分 评价赚积分 （如何评价?） 打赏 收藏 评论(0) 举报

资料介绍

疲劳驾驶是导致车祸的重要诱因,严重危害道路交通安全,而车辆行驶过程中的光照条件变化、驾驶员姿态调整和眼镜遮挡等因素将对疲劳检测任务产生不利的影响。针对以上问题,提出了基于深度学习的驾驶员疲劳检测算法。首先,使用850nm红外光源补光,在复杂光照和遮挡形态下采集驾驶员的面部图像;其次,利用红外图像中的多种特征,通过级联CNN确定人脸边框和特征点位置,提取眼睛区域并识别眼睛的睁闭状态;最后,将眼睛状态识别结果和连续图像中的特征点坐标差值输出至LSTM网络,检测驾驶员疲劳状态。实验结果表明:该疲劳检测算法的准确率可达94.48%,平均检测时间为65.64ms。


部分文件列表

文件名 大小
1577642632基于多形态红外特征与深度学习的实时驾驶员疲劳检测.pdf 2M

【关注B站账户领20积分】

部分页面预览

（完整内容请下载后查看）
第
卷第  
期
年
月
2
47  
2
红外与激光工程  
Infrared and Laser Engineering  
2018  
Vol.47 No.2  
Feb. 2018  
特约专栏  
❖
❖
基于多形态红外特征与深度学习的实时驾驶员疲劳检测  
1,2  
1,2 1,2  
，梁晓昱 ，肖志涛 *，李月龙  
1,3  
耿
磊
(1. 天津市光电检测技术与系统重点实验室，天津 300387；2. 天津工业大学 电子与信息工程学院，  
天津 300387；3. 天津工业大学 计算机科学与软件学院，天津 300387)  
摘
要：  
疲劳驾驶是导致车祸的重要诱因，严重危害道路交通安全，而车辆行驶过程中的光照条件变化、  
驾驶员姿态调整和眼镜遮挡等因素将对疲劳检测任务产生不利的影响。针对以上问题，提出了基于深度学  
习的驾驶员疲劳检测算法。首先，使用 850nm 红外光源补光，在复杂光照和遮挡形态下采集驾驶员的面部  
图像；其次，利用红外图像中的多种特征，通过级联 CNN 确定人脸边框和特征点位置，提取眼睛区域并识  
别眼睛的睁闭状态；最后，将眼睛状态识别结果和连续图像中的特征点坐标差值输出至 LSTM 网络，检测  
驾驶员疲劳状态。实验结果表明：该疲劳检测算法的准确率可达 94.48%，平均检测时间为 65.64ms。  
关键词：  
疲劳检测； 红外图像； 深度学习； CNN ； LSTM  
中图分类号： 文献标志码： ：  
DOI 10.3788/IRLA201847.0203009  
TP391  
A
Real-time driver fatigue detection based on morphology infrared  
features and deep learning  
1,2 1,2 1,2  
Geng Lei , Liang Xiaoyu , Xiao Zhitao *, Li Yuelong  
1,3  
(1. Tianjin Key Laboratory of Optoelectronic Detection Technology and System, Tianjin 300387, China;  
2. School of Electronics and Information Engineering, Tianjin Polytechnic University, Tianjin 300387, China;  
3. School of Computer Science and Software Engineering, Tianjin Polytechnic University, Tianjin 300387, China)  
Abstract: Fatigue driving is the main cause or reason for traffic accidents, which has a huge influence on  
social safety. Considering the fact that light change and glasses could significantly increase the difficulty  
to monitor human eyes, fatigue detection was still an unsolved problem. A new driver fatigue method  
based on morphology infrared features and deep learning were proposed. Using 850 nm infrared light  
source, the facial image was obtained. Human faces and landmarks which indicated the area of eyes were  
located by Convolution Neural Network (CNN) with morphology features in infrared image. In the next  
step, a filter module which measured head displacement was added, aiming at reducing the impact of  
posture change. In the following, the collected facial states were transformed into sequential data. Finally,  
the sequential data was passed to the Long Short Term Memory (LSTM) network to detect fatigue state  
by analyzing the sequential correlations. Experimental results show that the accuracy of the fatigue  
detection algorithm can reach 94.48% with an average detection time of 65.64 ms.  
Key words: fatigue detection; infrared image;  
deep learning; CNN; LSTM  
收稿日 期：  
；
修 订日 期：  
2017-10-28  
2017-08-10  
基金项 目：国 家自 然科学 基金  
，
(61601325 61771340)  
作者简 介：耿 磊  
，男 ，副教授 ，硕士 生导 师，主 要从事 测试 测量 技术 及仪器 方面 的研 究。  
(1982-)  
Email:  
通讯作 者：肖 志涛  
，男，教授 ，博士 生导 师，主 要从事 图像 处理 与模 式识别 方面 的研 究 。  
(1971-)  
Email:  
0203009-1  
红外与激光工程  
第
期
第
卷
47  
2
多种光照和多种眼镜遮挡下的多形态红外图像。 深  
[12-14]  
[15-18]  
引 言  
0
度学习在图 像 识 别  
、目 标 检 测  
、自 然 语 言 理  
[19]  
解和图像理解 等任务领域有着重要的应用，其中长  
年，我国境内可统计的车祸数量超过  
2005～2015  
短时记忆网络 可以  
(Long Short Term Memory, LSTM)  
充分利用数据中的前后联系，提高算法的准确率。  
万起，导致的直接经济损失达  
亿人民币。 与  
300  
127  
此同时， 接近  
的驾驶员有过 疲 劳 驾 驶 行 为 ，因  
30%  
此， 驾驶员疲劳检测方法研究有着重要的社会价值  
和现实意义。  
面部状态识别  
1
为了在光照不足和多种眼镜遮挡条件下准确地  
检测驾驶员疲劳状态，文 中 利 用 如 图 所 示 的 多  
1(b)  
驾驶员疲劳检测的主要方法有三类： 通过驾驶  
[1-3]  
[4-6]  
员的生理参数  
检测疲劳状态、通过驾驶行为  
检
[7-8]  
测疲劳状态和通过视觉特征检测疲劳状态 。其中，通  
状态红外图像和疲劳发生的连续性， 通过多任务级  
[20]  
[1-3]  
联卷积神经网络  
Neural Networks, MTCNN)  
用 基 于 卷 积 神 经 网 络  
(Cascaded Multi-Task Convolution  
过 生 理 参 数  
的 驾 驶 员 疲 劳 检 测 方 案 的 检 测 精 度  
定位驾驶员人脸图像，使  
较高， 但相关传感器与驾驶员的接触部位和接触方  
，
(Convolution Neural Networks  
式有着较多限制， 将对驾驶员驾驶活动产生直接影  
[4-6]  
的面部状态识别算法提取多状态红外图像中  
CNN)  
包含的相应特征， 识别驾驶员面部状态并将结果输  
出为序列化数据， 在该状态序列数据上提出驾驶员  
疲劳长短时记忆网络  
响；通过驾驶行为  
的驾驶员疲劳检测方案其系统  
集成度高、检测便捷，但 不易直接反映 疲 劳 状 态 ，且  
驾驶习惯差异、车 辆型号和道 路 状 况 等 因 素 将 影 响  
检测准确 率；通过视觉特征的 驾 驶 员 疲 劳 检 测 方 案  
有 着直接检测疲劳特征、 对 用 户 非 侵 入 等 优 点 ，作  
为疲劳检测重要依据，眼睛状 态 可 以 反 映 驾 驶 员 的  
(Driver Fatigue-Detection with  
， 完成驾驶员  
Long Short Term Memory, DF-LSTM)  
疲劳检测，图 为算法结构示意图。  
2
其中， 人脸检测和特征点定位是完成疲劳检测的  
重要步骤，通过人脸检测和特征点定位，完成眼睛“睁  
闭”状态识别和头部俯仰位移差值计算，将得到的眼睛  
疲 劳 状 态 ， 该 类 别 方 法 以 眼 睛 状 态 识 别 结 果 为 基  
[7]  
础 ，利 用  
、眨 眼 频 率 及 眨 眼 时 间 等 参 数  
PERCLOS  
判断疲劳状态，主要的眼睛定 位 及 识 别 方 法 有 模 板  
[8]  
[9]  
[10]  
分 类 器 以 及 颜 色 空 间 聚 类 等 ，  
Adaboost  
匹 配  
、
但 这 些 方 法 对 姿 态 和 光 照 变 化 下 的 疲 劳 状 态 检 测  
准确率较低，并且依赖人工选取的疲劳参数阈值判决  
疲劳状态。  
高 质 量 的 人 脸 图 像 是 基 于 视 觉 特 征 检 测 疲 劳  
状态方法进行准确检测的必要 条 件 ，但 是 在 驾 驶 过  
程 中 ，因 为 车 辆 的 位 置 、光 照 条 件 和 人 脸 姿 态 都 会  
发生变化， 还有可能伴有 不 同 类 型 的 眼 镜 遮 挡 ，成  
像环境复杂，增加了疲劳检 测 任 务 的 难 度 。 针 对 恶  
劣天气 和 夜 间 光 照 不 足 等 情 况 ，需 要 额外的红外光  
源照射协助成 像，同时，在墨镜遮挡下，红外光 补 偿  
后可采集到驾驶员 的 眼 睛 区 域 图 像 ，因 此 围 绕 红 外  
光源搭建图像采集设备。 滤光片作为滤光和选择谱  
红外系 统  
(a)  
(a) Infrared system  
[11]  
线 的 器 件 广 泛 应 用 于 各 个 测 试 系 统和分析仪 器，  
衰减其他波段光线在感光元件 的 接 受 比 例 ，可 降 低  
多形态 红外 图像  
(b)  
(b) Morphology infrared image  
红外 采集 系统 及结果  
其他无关波段的光对采集结果的干扰。 使用如图  
1(a)  
所 示 的 采 集 系 统 ： 以 焦 距 为  
的 工 业 相 机 为  
16 mm  
图
1
Fig.1 Infrared acquisition system and result  
主，配合  
红外光源和滤光片，采 集 驾 驶 员 在  
850 nm  
0203009-2  

相关下载

全部评论(0)

暂无评论
评论赚积分>>

上传资源 上传优质资源有赏金

热门标签

更多>>

最新上传

  • 打赏
  • 30日榜单

热门下载

资料专题

推荐下载

本站上的所有资源均为源于网上收集或者由用户自行上传，仅供学习和研究使用，无任何商业目的，版权归原作如有侵权，请 来信指出，本站将立即改正。

ICP许可证号：京ICP证070360号     21IC电子网 2000- 版权所有

京ICP备11013301号

京公网安备 11010802024343号