推荐星级:
- 1
- 2
- 3
- 4
- 5
基于卷积神经网络的复杂构件 内部零件装配正确性识别
资料介绍
X射线成像是解决复杂构件内部零件装配正确性识别的最有效方法,现有特征识别方法是以图像中的连通区域形状、长宽比、面积等特征为目标.虽然检测效果较好,但受机械精度、装配公差、零件错位等因素影响,识别鲁棒性较差.基于此,综合卷积神经网络目标分类识别技术与X射线多视角成像技术,首先设计了一个深度卷积神经网络模型,通过深度学习的方法提取特征、训练分类器,对工件内部零件进行分类,输出坐标框,完成工件零件漏装检测.进而针对所识别零件坐标信息;依据CT投影正弦特性,找到与当前检测工件投影角度相符的标准工件投影,完成零件换位、错位等识别.通过实验验证,此方法在自行建立的数据集上完成了对工件内部零件漏缺和换位的识别,鲁棒性较高.
部分文件列表
文件名 | 大小 |
基于卷积神经网络的复杂构件_内部零件装配正确性识别.pdf | 2M |
部分页面预览
(完整内容请下载后查看)8
Vol. 46 No. 8
Aug. 2018
第
期
电
子
学
报
2018
8
ACTA ELECTRONICA SINICA
年
月
基于卷积神经网络的复杂构件
内部零件装配正确性识别
1
2
2
, ,
赵耀霞 吴 桐 韩 焱
( 1.
,
中北大学电气与控制工程学院 山西太原
030051; 2.
,
中北大学信息与通信工程学院 山西太原
030051)
:
X ,
射线成像是解决复杂构件内部零件装配正确性识别的最有效方法 现有特征识别方法是以图像中的
摘
要
、 、 . , 、 、 ,
连通区域形状 长宽比 面积等特征为目标 虽然检测效果较好 但受机械精度 装配公差 零件错位等因素影响 识别
. , X ,
鲁棒性较差 基于此 综合卷积神经网络目标分类识别技术与 射线多视角成像技术 首先设计了一个深度卷积神经
, 、 , , ,
网络模型 通过深度学习的方法提取特征 训练分类器 对工件内部零件进行分类 输出坐标框 完成工件零件漏装检
. ;
测 进而针对所识别零件坐标信息 依据
CT
, ,
投影正弦特性 找到与当前检测工件投影角度相符的标准工件投影 完成
、 . , ,
零件换位 错位等识别 通过实验验证 此方法在自行建立的数据集上完成了对工件内部零件漏缺和换位的识别 鲁棒
.
性较高
关键词
中图分类号
URL: http: / /www. ejournal. org. cn
:
;
;
; X
;
装配识别 卷积神经网络 区域生成网络
射线多视角 角度匹配
0372-2112 ( 2018) 08-1983-06
DOI: 10. 3969 /j. issn. 0372-2112. 2018. 08. 025
:
TP391. 4
:
A
:
文章编号
文献标识码
电子学报
Identifying the Correctness of Fit of Internal Components
Based on a Convolutional Neural Network
1
2
2
ZHAO Yao-xia ,WU Tong ,HAN Yan
( 1. School of Electrical and Control Engineering,The North University of China. Taiyuan,Shanxi 030051,China;
2. School of Information and Communication Engineering,The North University of China. Taiyuan,Shanxi 030051,China)
Abstract: X-ray imaging is the most effective way to solve the correctness of fit of the internal components. Although
the previous detection method,which is based on extracting and matching characteristics such as the shape of the connected
regions in sample images,the aspect ratio or the area,achieves a better detection result. But by mechanical precision,assem-
bly tolerances,parts dislocation and other factors,it is less robust. To solve this problem,by combining convolution neural
network classification with CT technology,this dissertation first designed a deep Convolutional Neural Network model. Ex-
tracted features and trained the classifier using deep learning methods to classify the internal parts of a workpiece,outputting
the coordinate frame and performing missing part detection. Then,uses the coordinates of the detected parts,we find standard
workpiece views that conform to the current test-workpiece's angle based on CT projection sinusoidal properties. Perform as-
sembly error detection,such as transposition or dislocation of the test workpiece's internal parts. Experiments show that our
combined approach can identify missing and misaligned internal parts of a workpiece. The overall system is robust to factors
such as overlapping among the internal parts of the workpiece.
Key words: assembly identification; convolutional neural network; region proposal network; multiple angle x-ray; an-
gle match
, ,
机系统的零部件装配 在目前的装配工艺中 无论是手
1
引言
, 、
工装配还是机器人自动装配 受零件结构复杂 尺寸不
、 、
在仪器仪表 精密机械 电子装备等行业均涉及整
、 , 、 、
一 形状类似等影响 往往存在错装 漏装 错位等问题
,
: 2017-08-30;
: 2017-12-01; :
责任编辑 蓝红杰
收稿日期
修回日期
:
基金名称 国家自然科学基金
( No. 61571404,No. 61471325,No. 61601412) ;
( No. 2015021099)
山西省自然科学基金
1984
2018
年
电
子
学
报
、 ,
影响整机装备质量 运行性能及安全 造成难以估计的
. ,
法辨识零件的装配信息 但是在射线成像系统上 配备
. , .
损失 所以 对其进行装配快速正确识别极为重要 但
, .
机械转台 可实现多个角度的投影信息获取 按照投影
, ,
是 一般装配的整机及装备都是非透明壳体 无法直接
,
几何关系 可以综合各个角度的投影信息实现零部件
, X
通过人眼直观判断识别 唯有借助 射线成像方式实
.
结构的识别 具体识别过程如下
:
. X ( Digit-
射线数字成像
现装配结构的直观显示与识别
( 1)
, [0,2 )
选取合格工件 获取 π 范围内全周向投影
[1]
al Radiography,DR) ,
角下的图像存在零部件的相互遮挡无法直接判读装配
是积分式的投影成像 在某一视
;
序列
( 2)
;
提取投影序列中的特征建立样本数据库
[2,3]
. X
信息 射线
CT( Computer Tomography)
通过旋转采
( 3)
,
随机获取检测样品任一角度下的投影图像 与
,
集不同角度的投影图像 利用投影重建获得三维图像
,
,
样本数据进行匹配分析 实现图像的投影角度定位及
,
可识别产品每一部件的空间位置结构 但是该方法检
;
特征判断
( 4)
、 ,
测成本高 耗时 不适宜生产线在线检测
.
,
考虑遮挡问题 对检测样品旋转
90
,
度 继续进
X
CT
,
能够实现任意结构的空间成像 主要是
射线
;
行特征匹配分析
, , 、
利用多视角成像 依据该原理 中北大学韩跃平 韩焱等
( 5)
( 4) ( 5) ,
和 的识别结果 完成零
综合判断过程
, DR
人 在
, ,
成像基础上 结合多视角成像交叉识别 研发
.
件装备正确性的识别
X
了国内复杂产品内部结构装配正确性 射线在线自动
3
基于卷积神经网络的工件内部零件装配
识别
[4]
,
检测系统
成功应用于重庆长安汽车集团的多种复
.
杂结构产品的快速自动检测 但是该方法主要基于图
,
对于投影识别过程中设计的特征匹配方法 由于
,
像特征提取与匹配 对检测工装的机械精度要求较高
,
, ,
机械运动精度及零部件的装配公差影响 鲁棒性较低
. ,
同时对零部件错位识别准确性差 解决这一问题 重点
、 、
在于提取不受空间位置约束 旋转不变 尺度不变的特
.
对此采用卷积神经网络的方法进行实现
[5,6]
,
征信息 但是目前常用特征提取方法
,
特征种类单
3. 1
( CNN)
卷积神经网络
, .
一 无法保证复杂结构件投影图像的精准识别 近年来
,
常规的卷积神经网络一般由特征提取层和全连接
[7]
[11]
基于深度学习 的目标识别技术在复杂背景情况下取
, ,
特征提取层又包括卷积层和池化层 二者间
层组成
[8]
,
得了比较好的结果 特别是提出的
R-CNN ,Fast-RC-
. ,
隔分布 以输入一副图像为例 首先经过第一个卷积层
[9]
[10]
[8]
[9]
NN ,Faster-RCNN
,
66. 0%
68. 1%
到
从最初的
在检测速度上也有了质的飞跃 而且 卷
积神经网络在一定意义上具有尺度不变性和位移不变
,
对图像进行卷积操作 每个卷积层有多个不同大小的
[10]
73. 2%
,
.
,
到
,
卷积核 每个卷积核都会对图像进行不同的特征提取
,
,
从而得到多个不同的卷积结果 卷积结果通过一个激
, ,
性 一定程度上解决了现有方法鲁棒性较差的问题 对
, ,
活函数后 就可以得到输出的特征映射 每一个输出特
、 、
工件内部零件错位 机械精度 装配公差等情况具有较
:
征映射可能是组合多个输入特征映射的值
.
高的容错度
卷积神经网络仅能定位所识别射线图像中的目标
l
l-1
l
l
x = f(
j
x
c + b )
ij
( 1)
∑
j
j
i
M
j
∈
,l ,i ,j
式中 表示层数 表示特征映射图上的点 表示特征
, ,
位置 但是对于零件装配识别问题 受积分投影的相互
,x (
映射图上的编号 表示计算数值 如在输入级表示图
,
遮挡影响 需进一步结合
CT
,
多视角的正弦投影原理
) ,c
,b ,M
表示卷积核 表示加性偏置
像某通道的灰度值
j
. , ,
进行装配识别 因此 论文基于上述思想 设计一个卷积
.
表示特征映射图集合 经过卷积操作得到的卷积结果
, ,
神经网络模型 以标准工件投影数据训练模型 分别以
,
经由下采样层进行局部相加 利用训练参数对其添加
-
模型的两个输出层 分类结果和定位框完成内部零件的
, ,
乘性偏置和加性偏置 然后输入非线性函数中计算 得
,
缺漏检测和错位检测 进一步结合
CT
,
多视角成像 完
:
到下采样结果
.
成零部件装配正确性检测
l
l
l - 1
l
x = f( down ( x
β
j
)
+ b )
j
( 2)
j
j
2
X
射线多视角成像识别原理及流程
, ,
对于下采样层来说 有多少个输入的特征映射 就
,
有多少个输出的特征映射 只是每个输出都变小了
.
X , X X
依据 射线的衰减规律 当 射线管产生的 射
down( )
,
表示一个下采样函数 在本文中采用最大值池
,
线透照到检测对象上时 由于检测对象内部结构存在
, .
化 保留一个区域内最主要的特征 每个输出特征映射
、 ,
密度 厚度等方面的差异 使透照在检测对象上的射线
b,
, X
衰减程度各不相同 即透过检测对象的 射线强度分
都对应一个属于自己的乘性偏置 β 和一个加性偏置
池化操作在对卷积映射降维的同时也降低了模型过拟
, X
布发生变化 对应的携带检测对象信息的 射线形成
X
. ,
射线信息影像 该影像由于零部件投影的相互遮挡 无
. ,
合的风险 提取特征后 特征提取层结果作为输入进入
全部评论(0)