您现在的位置是：首页 > 技术资料 > 基于自编码器和极限学习机的工业控制网络入侵检测算法

推荐星级：

基于自编码器和极限学习机的工业控制网络入侵检测算法

更新时间：2019-12-30 19:28:03 大小：818K 上传用户：xiaohei1810 查看TA发布的资源 标签：工业控制网络入侵检测自编码器 下载积分：1分评价赚积分（如何评价?）打赏收藏评论(0) 举报

资料介绍

针对目前未知工业控制网络攻击检测方法处于初级阶段,浅层次的选取特征分类导致检测率较低的问题,提出一种稀疏自编码-极限学习机入侵检测模型.该文所提算法通过深度学习的稀疏自编码器在训练时结合编码层的系数惩罚和重构误差对高维数据进行特征提取,再运用极限学习机对提取的特征进行快速有效地精准分类,使用工控入侵检测标准数据集对算法准确性进行了验证,通过和不同类型的入侵检测模型进行比较.结果表明:该文方法可以有效提升入侵检测系统性能,符合工业控制入侵检测“高精度、低误报”的要求.

部分文件列表

文件名	大小
基于自编码器和极限学习机的工业控制网络入侵检测算法.pdf	818K

立即下载

【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）

V01．43 No．4

垒旦g兰Q!皇

第43卷第4期

南京理工大学学报

兰Q!皇生!旦

!!竺竺!!竺!翌!尘虫!旦!堡!!!堡!!墅兰!!!!型里!!!!!!墅

基于自编码器和极限学习机的工业控制网络

入侵检测算法

李熠．李永忠

(江苏科技大学计算机学院，江苏镇江212003)

摘要：针对目前未知工业控制网络攻击检测方法处于初级阶段．浅层次的选取特征分类导致

检测率较低的问题．提出一种稀疏自编码一极限学习机入侵检测模型。该文所提算法通过深度

学习的稀疏自编码器在训练时结合编码层的系数惩罚和重构误差对高维数据进行特征提取．再

运用极限学习机对提取的特征进行快速有效地精准分类．使用工控入侵检测标准数据集对算法

准确性进行了验证．通过和不同类型的入侵检测模型进行比较。结果表明：该文方法可以有效

提升入侵检测系统性能，符合工业控制入侵检测“高精度、低误报”的要求。

关键词：工控网络；入侵检测；自编码器；极限学习机

中图分类号：TP309

文章编号：1005—9830(2019)04—0408—06

DOI：10．14177／j．cnki．32-1397n．2019．43．04．005

for industrial control networks

Intrusion detection

algorithm

based on auto· encoder and extreme

machine

learning

Yi．Li

Yongzhong

¹2003，China)

of Science and

(School

Computer，Jiangsu University

Technology，Zhenjiang

at the

that the

existing

unknown industrial control network attack

selection feature classification leads to low

Abstract：Aiming

problem

detection method is in the initial

and the

low—layer

stage

detection

auto—encoder—extreme

uses the

machine intrusion detection model is

accuracy，a sparse

learning

auto—encoder to combine the

penalty

proposed．The proposed algorithm

parameter

deep learning

and reconstruction error of the encode

to extract the features of

data

layer

then uses the extreme

high-dimensional

and

the

machine to

learning

during

training stage，and

the extracted features．The

quickly

effectively

of the

is verified

the industrial control

classify

accuracy

algorithm

收稿日期：2019—04—15

修回日期：2019—05—30

作者简介：李熠(1994一)，男，硕士生，主要研究方向：网络安全，E—mail：crush—leel21@163．con；通讯作者：李永忠

(1961一)，男，教授，主要研究方向：网络安全，E—mail：liyongzhon96· 1@163．corn。

引文格式：李熠，李永忠．基于自编码器和极限学习机的工业控制网络人侵检测算法[J]．南京理工大学学报，

2019，43(4)：408—413．

投稿网址：http：／／zrxuebao．njust．edu．(311

万方数据

总第227期

李熠李永忠基于自编码器和极限学习机的工业控制网络入侵检测算法409

intrusion detection standard data

with different

of intrusion detection methods．

types

the of the intrusion detec—

performance

set．Comparing

the

that the method can

experiment verify

effectively improve

tion

and reduce the false alarm rate．It meets the

and lowfalse

system

accuracy

requirements of“high

rate”for industrial control intrusion detection．

positive

control

machine

words：industrial

Key

network；intrusion detection；auto-encoder；extreme

learning

自2010年震网病毒席卷全球工业界，针对

工业控制系统的攻击事件愈演愈烈。2014年10

月韩国核电站病毒、2015年12月乌克兰电网断

电、2016年3月德国核电站病毒等工业生产安全

事故可以看出．以“工业互联”为代表的工控系统

的网络化高速发展的同时。也会导致系统人侵风

险提高，网络安全问题日益突出。由于目前工业

控制系统入侵检测技术[2】尚处于初级阶段，针对

工业控制系统的攻击威胁呈现有组织、大规模、高

隐蔽、持续时间久的趋势．具有国家背景的网络攻

击行为不断增加。攻击手段层出不穷，社会稳定和

公众利益面临着巨大威胁。

制入侵检测稳定性高的特点。

自编码器和极限学习机

1．1

自动编码器原理

自动编码器【121是用来学习有效编码的一种

深度学习网络结构．主要的目标在于对高维复杂

的数据中学习出一种合适的表达，尤其用于降维

处理和特征学习。

如图1所示．自动编码器的训练算法则主要

是采用了后向传播的无监督学习算法，其优化目

标为让目标输出与模型输入的误差尽可能小，即

因此．工控网络人侵检测成为工业控制安全

y(02^x(i)

TCP通

研究的热点。尚文利等【3】提出对Modbus

向量x是自动编码器的输人．并用一个编码器

将其确定性地映射到一组二进制的隐藏表达

讯采用基于PSO．SVM的异常检测方法：陈庄

等[4】针对工控系统异常检测提出基于自适应聚

秒，秽‘i’“0，1]

x，_名(W’v+b’)

移=s(耽+6)

类的的离群点挖掘方法：Beaver等”】针对天然气

管道SCADA系统，利用支持向量机、随机森林、

朴素贝叶斯等机器学习算法对注入式攻击进行研

究：张云贵等|6+针对工业控制模型的预测输出与

传感器测量信号的差值采用非参数CUSUM算

法：高春梅等[7】提出针对工业控制网络的流量的

人侵检测方法对工业控制网络防御研究。

式中：s代表例如sigmoid函数的非线性函数。隐

藏表达或者“编码”会再被用于映射会输入层来

构造和输入x维度一样的重构函数彳．这个重构的

过程与之前编码的过程类似。

Hinton等【8】提出的深度学习具有深层次、非

线性、逐层特征提取的特点，是人工智能的一个新

兴领域．在图像处理[9】、语音识别自然语言处理

等多个方面【10】都已经得到了推广。

本文所提出的改进的自编码器一极限学习机

模型，利用深度学习对高维度的数据的特征提

取[1l】的完备性高的特点．通过无监督深度学习提

取数据特征．再用极限学习机对提取的特征加上

标签进行有监督的训练分类。本文算法与现有其

他深度学习方法对比分析．如深度置信网络

图1自动编码器模型

(Deep ^belief

network，DBN)等，虽然逐层训练算法

重构权重矩阵W’会被限制为前向权重矩阵

的转置，即W，_矿，也被称为约束权重。通过最

小化平均重构误差，来获得最优的模型参数(即

相似。但是使用稀疏性概念可以更好地降低误差，

鲁棒性更佳。本文模型经多次试验该模型效果良

好。能够有效地提升检测率和误报率，适用工业控

万方数据

410

南京理工大学学报

第43卷第4期

算法结构如图2所示。本文入侵测模型分为4个

阶段，分别为数据预处理、稀疏自编码器特征提

取、ELM分类器分类和结果整理。由于工控网络

入侵检测数据集的数据类型是连续和离散混合

的，因此要对数据进行归一化等预处理。稀疏自

编码器将预处理过的数据进行特征提取，这样处

理过的数据具有稀疏性。将降维后具有高稀疏性

的特征数据作为ELM分类器的输入．再利用ELM

分类器对特征数据进行分类。再把分类后整理的

结果作为输出，从而得出工控网络入侵检测结果。

W，b，b’，w’)。根据合适的输人数据分布假设，重

构误差有多种选择。传统的平方误差为

L(戈，彳)=||戈一z||2

(1)

在最基础的自动编码器的基础上加入一些约束

条件得到新的深度学习方法。由于本文采用自动编

码器用于提取数据特征．如果在其基础上加上￡1的

3|。

Regularity限制，就可以得到稀疏自编码器[1

code：h=wTx

Input：X

Loss：￡(石；W)=l|Wh—X II+A

2：l_I

自动编码器其实质是一种数据压缩算法．可

以通过叠加多层自动编码器提高复杂特征学习能

力或提取有价值的特征。

数据预处理

输人层

1．2极限学习机原理

稀疏白编码

器提取特征

Huang等[14]提出的极限学习机(Extreme

ELM分类器

machine，ELM)，目的是为了解决反向传

learning

播(Backward

propagation，BP)算法学习效率低、

结果整理

输出

参数设定繁琐的问题。ELM是一种新型的快速

学习算法．其主要特点是隐含层节点参数可以是

随机或人为设定的且不需要调整．学习过程仅需

计算输出权重

图2 AE-ELM模型结构

2．2入侵检测算法描述

图3为稀疏自编码器算法流程图。给定样本

min

Il邵一T|I

集集合为{(x1，y1)，(x2，y2)，，(r，P)}，其中

其解为

H’T

X‘=(戈；，戈：，，戈：)为特征向量，Y‘=(Y；，Y：，，

Y：)为该样本集的标记向量，f。为稀疏自编码器的

训练次数，s，为第2层的节点数，眠为第f层的权

值矩阵。

式中：日+为隐含层输出矩阵日的Moore．Penrose

广义逆。

极限学习机最大的优势在于：

(1)与BP神经网络不同，其输人层和隐含层

的连接权值、隐含层的阈值可以随机设定，且设定

完后不需要像BP神经网络不断反向去调整权值

和阈值，因此这里就能减少一半的运算量。

(2)隐含层和输出层之间的连接权值卢不需

要迭代调整，而是通过解方程组方式一次性确定；

研究表明，通过这样的规则，模型的泛化性能很

好，速度提高了不少。相比于传统神经网络，具有

学习效率高、泛化能力强的优势，特别是在多分类

vector

方面效果优于支持向量机(Suppon

machine，SVM)等经典算法。

2基于自编码器和极限学习机的工

控网络入侵检测模型

2．1入侵检测算法结构设计

图3稀疏自编码器算法流程图

稀疏自编码器一极限学习机人侵检测模型的

万方数据

411

总第227期

李熠李永忠基于自编码器和极限学习机的工业控制网络入侵检测算法

Ⅳ

式(2)为自编码器的损失函数

(6)

q—o=0

，。l

J(W,b)=i1川Y2＼(上二h¨ (F卅)2)+

因此，存在展、Wi和b。，使得

(2)

pig(盯鼍+bi)=o歹=1，，N

矩阵表示为

形；

第二项为正则项，是为防止出现过拟合现象，

由此可得式(3)

邵=r

式中：日作为隐含层节点的输出；J6I为输出权重；

Jspare(W，6)=．，(W，6)+／3 KL(p怕)(3)

式(4)为式(3)中的稀疏约束项

r为期望输出。为了能够训练单隐层神经网络，

希望得到彰和占。使得口。，得到最小化损失函数

式(7)

KL(p =Pl。g导+(1-p)l。g

(4)

(7)

H(职，占。)pi一71

0=驴i嘿H(W，b。)／3i-T

1-p

w．D．口

Ⅳ

式中：扛1，，L，由E= ( ，展g(W,Xj+b。)一‘)2

可解出

式中：西2去荟[可2’(X(O)]，《2’表示输入向量戈

对隐藏层单元．f的激活。

p=斟T

通过自编码器的多次迭代训练，使得降维后

的数据与原数据误差损失降低，得到高维数据特

征的低维表达。

极限学习机算法是一种求解SLFNs的学习

算法。由证明可知，当激活函数g(X)无限可微

时，SLFNs的参数并不需要全部进行调整，'．，=

极限学习机算法流程如图4所示，将降维的

[彬．，伽：，，埘I]和b=[b。，b：，，b‘]7可以随机

选择，且在训练的过程中保持不变，而卢可以通过

求解以下方程组的最／b-"乘解获得。从而得出分

类结果。

过后特征向量Xi=[x¨ x∞ ，x加]7 R”与标记

向量t。=[t t∞ ，t。。]7 R”组成新的样本(置，

t。)，式(5)可表示为一个有L个隐含层节点的单

隐层神经网络

(5)

卢ig(w，葺+bi)=q，=l，，，v

3实验结果与分析

式中：g(x)为激活函数；输人权重Wi=[W¨ ，似，

，W湘]’；输出权重为卢。；6；是第i个隐含层单元

的偏置；W和X。的内积由Wi· X。来表示。

3．1数据集预处理

本文实验所使用是数据集是由密西西比州立

大学基础设施保护中心于2011年建立的工控人

侵检测标准数据集(15|，数据来源为天然气管道

SCADA控制系统网络层数据。该MODBUS数据

集与CUP

KDD99数据集类似。每条数据以X=

(菇。，戈2，，x。，Y)的形式存储，其中艽．，x2，，‰

表示该数据的rt个特征，Y为该条数据的标签值：

本文数据集包括26个特征属性和一个决策属性。

由于特征属性离散，连续数值混合，所以要进行预

处理，进行归一化(16]处理，根据式(8)将数据规

范到[0，1]区间。

l毫A甙彤p的=q

Ⅳ

‘

00』-俨o

一

●

戈=(z一菇mi。)／(戈m。。一戈mi。)

(8)

硼一

●

3．2实验结果分析

／Output：卢／

本文实验所有算法都有MATLAB语言实现．

图4极限学习机算法流程图

分为训练集与测试集．通过随机选取数据集中的

从式(6)可以看出，单隐层神经网络学习的

目的是使得目标输出的损失误差达到最小

000组数据作为训练集．1 000组数据作为测试

集。在该模型中，稀疏自编码器选取sigmoid为所

万方数据

412

南京理工大学学报

第43卷第4期

表1不同入侵测检测模型对比

选取的激活函数，lambda权重为0．000 05．相对熵

系数为1，稀疏性参数为0．25，隐含层个数n=12。

从图5可以看出。随着迭代次数的增多，改进

的稀疏自编码对训练集进行降维处理后的损失值

越小，同时说明该网络收敛，模型效果趋于稳定。

在实验过程中．本文算法在采集的训练集样

本的准确率达到98．5％。说明AE—ELM模型具有

较高的学习性能，泛化能力较佳。测试样本结果

对比准确率达到97．4％。验证该模型对于工业控

制入侵检测具有良好的效果。

如图6所示，将本文入侵检测模型与同为深

度学习模型的深度置信网络[171(DBN)，多层感知

机[1引(Multi—layer perception，MLP)在不同样本个

数下的准确率作比较，可以发现深度学习对于少

如图7所示，以检测率为纵坐标，误报率为横

坐标会支持不同入侵检测算法的ROC曲线对比：

可以直观地看出AE—ELM入侵检测算法的ROC

曲线面积比其他算法的面积大。由此可以说明本

文的算法模型比其他人侵检测算法性能更好．检

测效率更高，符合工业控制入侵检测对于“高精

度，低误报率”的要求，可以更好地检测到入侵

数据。

量数据的学习效率较低，但随着样本个数的增多，

准确率提高显著。通过对比可以看出，本文的入

侵检测算法检测效果明显好于DBN、MLP入侵检

测模型。

枣

擗

翳

型

Epoch≠≠

图5训练集loss图

图7不同算法的ROC曲线图对比

冰

4结束语

褂

鼎

轺

本文融合了深度学习理论以及神经网络中的

极限学习机．针对工业控制网络入侵检测“高精

度，低误报率”的检测要求，提出了自编码器一极

限学习机人侵检测模型；经过多次调试，仿真得到

最佳参数进行优化，使用由密西西比州立大学基

础设施保护中心建立的工控入侵检测标准数据集

进行仿真实验研究并得出结论：AE—ELM模型在

检测率、误报率均优于DBN、MLP、SVM、ELM以

及K—Means入侵检测算法。

图6准确率对比

同时将测试集分别在深度学习中的DBN模

型、MLP模型、基于SVM分类器[191、ELM分类器

以及K．Means分类器上进行测试。得出相应的入

侵检测检测率和误报率。本文中的算法结果与之

相比较，由表1可知，相比于其他的算法，本文提

出的方法对于工业控制人侵检测可以有效地提高

检测率，同时误报率大大降低，验证了该模型的可

靠性。

本文所设计的算法模型正致力将该算法模型

运用到工业控制网络信息安全检测而进行下一步

研究。从而提高工业控制入侵检测的检测性能以

及防御能力。

万方数据

总第227期

参考文献：

李熠李永忠基于自编码器和极限学习机的工业控制网络入侵检测算法413

40-47．

Sun

detection

Kang，Li Qianmu，Li Deqiang．Face

based on cascaded convolutional neural net—

algorithm

陶耀东，李宁，曾广圣．工业控制系统安全综述[J]．

of Science and

work[J]．Journal

Nanjing University

计算机工程与应用，2016，52(13)：8-18．

Tao

Technology．2018，42(1)：40—47．

Yaodong，Li Ning，Zeng Guangsheng．Review

徐萍，吴超，胡峰俊，等．基于迁移学习的个性化循

环神经网络语言模型[J]．南京理工大学学报，

2018，42(4)：401—408．

industrial control

[10]

systems security[J]．Computer

and

Engineering

Applications，2016，52(13)：8—18．

尚文利，安攀峰，万明，等．工业控制系统入侵检测

技术的研究及发展综述[J]．计算机应用研究，

2017，34(2)：328—333，342．

[2]

a1．Personalized

model based on

Chao，Hu Fen舀un，et

Ping，Wu

reeurrent neural network

language

transfer

a1．Research

learning[J]．Journal

Nanjing University

Wenli，An

Shang

and

Panfeng，Wan Ming，et

overview of

Science and

detection

Technology，2018，42(1)：40—47．

the dimension—

intrusion

development

Hinton

E，Salakhutdinov

in industrial control

R．Reducing

technology

system[J]．Application

of data with neural

Research of

ality

networks[J]．Science，

Computers，2017，34(2)：328—333，342．

2006(313)：504—507．

[3]

尚文利，张盛山，万明，等．基于PSO．SVM的Modbus

袁非牛，章琳，史劲亭，等．自编码神经网络理论及

应用综述[J]．计算机学报，2019，42(1)：203—230．

[12]

TCP通讯的异常检测方法[J]．电子学报，2014，

42(11)：2314—2320．

Yuan

and

a1．Theories

networks：a

Journal of

Computers，

Feiniu，Zhang Lin，Shi Jinting，et

a1．

Wenli，Zhang

Shang

Shengshan，Wan Ming，et

of auto—eneoder neural

applications

Modbus／TCP

communication

detection

anomaly

literature

based on PSO—SVM『J1．Acta Electronica

survey[J]．Chinese

algorithm

2019，42(1)：203—230．

Sinica，2014，42(1 1)：2314—2320．

[13] 王声柱，李永忠．基于深度学习和半监督学习的入

侵检测算法[J]．信息技术，2017(1)：101—104，108．

[4]

[5]

[6]

陈庄，黄勇，邹航．基于离群点挖掘的工业控制系统

异常检测[J]．计算机科学，2014，41(5)：178—

181，203．

detection

Wang Shengzhu，Li Yongzhong．Intrusion

and

learning

based on

Chen

detec-

algorithm

deep

semi—supervised

Zhuang，Huang Yong，Zou Hang．Anomaly

tion of industrial control

based on outlier

learning[J]．Information Technology，2017(1)：101—

104，108．

system

mining

[J]．Computer Science，2014，41(5)：178—181，203．

C K．Extreme

B，Zhu

Y，Siew

Beaver

C，Buckner

A．An

[14] Huang

learning

Neu—

M，Borges—Hink

and

evaluation of machine

methods to detect mali—

machine：Theory

applications[J]．

learning

cious SCADA

rocomputing，2006，70(1—3)：489—501．

Morris W．Industrial control traffic data

system

communications[C]／／Proceedings

the 2013 12th

[15]

T，Gao

International Conference

Machine

sets for intrusion detection

and

02．New

research[C]／／International

Infrastructure

Learning

Applications—Volume

York，

Conference on

Critical

Protection．

USA：IEEE．2013．

Berlin，Germany：Springer，2014．

张云贵，赵华，王丽娜．基于工业控制模型的非参数

CUSUM入侵检测方法[J]．东南大学学报(自然科

学版)，2012，42(S1)：55—59．

[16] 谢中华．Matlab统计分析与应用：40个案例分析

[M]．北京：北京航空航天大学出版社，2010．

[17] 安琪．基于深度置信网络的入侵检测研究[D]．兰

州：兰州大学，2016．

Lina．A non·

Zhang Yungui，Zhao Hua，Wang

CUSUM intrusion detection method based

parametric

于海宁．基于MLP和Elman混合神经网络的入侵

检测系统[D]．哈尔滨：哈尔滨工业大学，2008．

王华忠，杨智慧，颜秉勇，等．融合PCA和PSO—SVM

方法在工控入侵检测中的应用[J]．科技通报，

2017，33(1)：80一85．

on industrial control

of Southeast

[18]

model[J]．Journal

University，2012，42(S1)：55—59．

[19]

[7] 高春梅．基于工业控制网络的流量异常检测[D]．

北京：北京工业大学．2014．

Hinton

Y W．A fast

[8]

E，Osindero S，Teh

learning

Neural

a1．

Zhihui，Yan

Bingyong，et

for

belief

Wang Huazhong，Yang

algorithm

deep

nets[J]．

of fusion PCA and PSO-SVM

method

Application

Computation，2006，18(7)：1527—1554．

industrial control intrusion

detection[J]．Bulletin

[9]

孙康，李千目，李德强．基于级联卷积神经网络的人

脸检测算法[J]．南京理工大学学报，2018，42(1)：

Science and

Technology，2017，33(1)：80—85．

万方数据

全部评论(0)

暂无评论

评论赚积分>>

上传资源上传优质资源有赏金

基于自编码器和极限学习机的工业控制网络入侵检测算法

资料介绍

部分文件列表

部分页面预览

相关下载

全部评论(0)

热门标签

最新上传

热门下载

推荐下载

专栏首页