推荐星级：

机器学习在物联网虚假用户识别中的运用

更新时间：2019-12-18 22:09:52 大小：2M 上传用户：xiaohei1810 查看TA发布的资源 标签：机器学习物联网 下载积分：1分评价赚积分（如何评价?）打赏收藏评论(0) 举报

资料介绍

随着通信技术的发展,物联网卡和5G技术将得到大规模应用,但存在个别企业利用物联网卡资费便宜、没有实名制等特点从中非法牟利、破坏社会稳定的问题,不利于行业健康发展.因此如何识别虚假用户成为物联网行业研究的重要课题.主要研究了在实时海量的物联网终端数据中,如何运用机器学习模型高效地识别疑似虚假用户.具体来看,通过研究相关数据的特征,采用基于正样本和未标记样本的半监督式学习模型建立实时监控异常行为的模型,达到识别物联网行业中潜在虚假用户的目的.本研究成果体现在节约大量人力物力的同时,可以帮助相关部门、人员及时发现用户的异常行为,采取相应的措施避免产生较大损失,具有广泛的行业应用前景.

部分文件列表

文件名	大小
机器学习在物联网虚假用户识别中的运用.pdf	2M

立即下载

【关注视频号领20积分】【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）

运营技术广角

机器学习

在物联网虚假用户识别中的运用

张溶芳1，许丹丹1，王元光2，潘思宇1，李正茂3

(1。中国联合网络通信有限公司研究院，北京100176；

2．中国联合网络通信集团有限公司电子商务中心，北京100033；

3．中国联合网络通信有限公司重庆市分公司，重庆401121)

摘要：随着通信技术的发展，物联网卡和5G技术将得到大规模应用，但存在个别企业利用物联网卡资费便宜、

没有实名制等特点从中非法牟利、破坏社会稳定的问题，不利于行业健康发展。因此如何识别虚假用户成为物联网

行业研究的重要课题。主要研究了在实时海量的物联网终端数据中，如何运用机器学习模型高效地识别疑似虚假用

户。具体来看，通过研究相关数据的特征，采用基于正样本和未标记样本的半监督式学习模型建立实时监控异常行

为的模型，达到识别物联网行业中潜在虚假用户的目的。本研究成果体现在节约大量人力物力的同时，可以帮助相

关部门、人员及时发现用户的异常行为，采取相应的措施避免产生较大损失，具有广泛的行业应用前景。

关键词：物联网；半监督式学习模型；朴素贝叶斯分类器；随机森林；支持向量机：SPY分类器

中图分类号：TPl8；1N929．5

文献标识码：A

doi：10．1

1959巧．issn．1000—0801．2019090

ofmachine

in the fake

Application

learning

user identification

OoIfI o l T e n t i l i c a t i o n

ZHANG_{Rongfangl，XU}

Dandanl，WANG

Yuanguan92，PANSiyul，LI Zhengma03

1．Research Institute ofChina UnitedNetwork Communication_{Co．，Ltd．，Beijing}

100176，China

2．E—Commerce

UnitedNetworkCommunication _{Co．，Ltd．，Beijing 100033，China}

Center,China

Branch ofChina UnitedNetwork Communication _{Co．，Ltd．，Chongqing}

3．Chongqing

401121，China

Abstract：Withthe

ofcommunicafion

cards and 5G_technologieswill be

on a

development

technology,IoT

applied

large

are some

have taken

ofthe fact也atthe

price ^{of SIMcards ofloT is}cheap

is not conducive to the

scale．However,there

companies

advantage

and the cards do not have real—name

is harmful to social

stability,which

registration system．It

of IoT

howto

these fake users has become an

industry．The

users who have the

high suspiciousness effectively．By studying

in loT

development

industry．So

identify

important topic

was to use machine

purpose

characteristics ofrelevant

models to

learning

data,a

identify

model based On

and unlabeled

was used to

semi-supervised learning

positive

samples

USers．At the

industry

establish

real· time abnormal behavior modelto

monitoring

enhanced the

fakeusers in the IoT

identifypotential

and has savedthe

resources．Also，it

manpower physical

same

model

greatly

time，the

working efficiency

governmenB ^{to discover the abnormal behaviorofusers in time and take}correspond-

Can

ing

relevant

and

departments

help

measures to avoid

method_reallyhas broad

model，Naive

in the

industry．

losses．So，the

andunlabeled

large

proposed

applicationprospects

classifier,random

Keywords：IoT，positive

semi-unsupervised

Bayesian

forest，support

vector machine．SPY classifier

收稿日期：2019—03-06；修回日期：2019-04-30

2019090．1

万方数据

：!!!：

皇堕型堂生I羹谜

引言

物联网[1】作为继计算机、互联网之后世界信

口I

擎砖

码，

盛

息产业发展的第三次浪潮，以惊人的速度增长，

延伸到包括医疗、交通、教育、物流等的各个领

域。物联网卡也随着物联网行业迎来爆发或发展，

其主要面向的客户是企业，采用商业模式运营，

鸶i尹

联网设备

公司

企业客户

④逦巫

＼、蟹堡塑窭／／、—————=二／

伴随着网络技术的成熟，物联网卡和5G技术在未

来移动通信技术中是绝对的主角。但现有小部分

企业利用了物联网卡资费便宜、没有实名制等特

点，将批量购入的物联网卡拿到市场上非法出售，

利用其便宜的价格赚取暴利差价，同时利用未实

名制的漏洞进行短信诈骗等行为。中国联通物联

网部门经过一段时间数据的积累与观察、实地

走访，查出少数几家在市场上非法出售物联网

卡的公司，但非法出售物联网卡的公司远不止

这些。随着物联网行业的飞速发展，各行各业

成千上万的公司都会相继购买物联网卡，若只

依靠个人举报、粗略观察数据等方式识别虚假

用户，会浪费大量的人力物力。本文通过建立

异常行为监控模型来实时识别潜在的虚假用

户，帮助相关部门、人员及时发现用户的异常

行为，提早采取措施进行制止避免不必要的损

失，具有广泛的行业应用前景。

图2物联网平台用尸和角色

2．2平台数据服务建设

针对业务需求，物联网平台搭建资源纳管架

构CU．DCOS2．0，上层基于DAS2．0完成了能力组

件的容器化封装，采取“大数据能力运营平台”+

“运营分析门户”的双层架构，实现了从底层数据

到上层应用的流程贯通。这个平台提供了3个功

能，如图3所示。第一个功能是大数据能力，在

已有服务器上搭建了CDH

Hadoop集群，提供

Hadoop[21、Sparkt31、Hive[4]、HBase[51等大数据服

务；第二个功能是数据分析处理能力，基于CDH

集群，复用DAS组件，搭建可视化的数据处理

2物联网大数据能力平台

2．1平台基本概况

Kylin[6]、Echarts[7】框架、客户运营数据分析建模

平台；第三个功能是容器能力，基于提供的物理

物联网平台主要分为两个部分，如图1所示：

一部分叫做服务管理器(service

manager)，用于

机服务器搭建了CU．DCOS平台，提供数据库、

中间件、DevOps【8]、监控、负载均衡等服务。

物联网大数据能力平台有三大数据来源，分

公司管理企业用户；另外一部分叫做控制中心

(control

center)，用于企业客户管理其联网设备。

在物联网平台上，用户群会被分为3种层次

结构，如图2所示，分别为公司1账户(企业)

以及客户(分支机构)，每种用户具有不同的平

台数据视图，并且提供多个具有不同权限的角色。

平台同时提供了数据、短信语音等服务。

别是集客系统、订单系统以及Jasper公司。Jasper

数据包括经营管理数据，包含40多个数据接口，

500多个数据项，每日推送超过30GB的用户行为

类数据。集客数据包括增值产品、套餐订购数据、

万方数据

■垩篁垫查￡鱼

：!!!：

口堕口匪匝圃哑匝圃

标记负样本的半监督学习方法进行建模。

在物联网虚假用户识别的案例中，有大量的

未标记数据以及少部分确定的虚假用户数据，这

种数据特征非常适合使用于正样本和未标记负样

本的半监督学习方法进行建模，详细内容请参考

文献[11】。

前台展示，和用户西像

物联网大数据能力平台

IDB

servicei

l坚鲤2业l l坚i!!l I!仑坐I

大数据能力平台DAS

服务&应用管删I塞登笪星I

I攫苤笪堡I

I丑垫笪堡I

容器化组件CU-DCOS

蛐DFS

解决这类问题通常有两种方式，第一种是直

接方法，第二种是两步法。直接方法是仅在正样

本上训练。以下模型讲解内容中，P代表正样本

数据，U代表未知样本数据。下面详细介绍这两

种方法的具体内容。

圆圈回

商机数据。订单系统数据包括卡类订单、订购信

图3物联网大数据能力平台架构

3．1．1

两步法

息。三大平台数据直接入库HDFS[9]，运用Spark

第一步根据已标注的正样本在未标注样本集

对于入库文件数据进行预处理，使用Python基于

各种场景以及预处理的数据建立模型进行预测，

中找出可靠的负样本集合，将正样本和未标记样

本问题转化为二分类的问题；第二步利用正负样

本通过迭代训练得到一个二元分类器。理论上已

经证明，如果最大化未标注样本集中负样本的个

数，同时保证正样本被正确分类，则会得到一个

性能不错的分类器。上述步骤中，找出可靠负样

本以及训练二元分类器的方法很多，下面是对每

预测结果可以为用户提供很优质的服务。

3机器学习理论

机器学习可以分为监督式学习、半监督式

学习【l01、无监督式学习以及强化学习。根据物

联网部门提供的数据特征，即已知少部分虚假

用户数据，未标注的数据当中既有虚假用户的

数据又有正常用户的数据，这使监督学习不可

实行，所以需要通过建立基于正样本和未标记

样本的半监督学习模型，来预测物联网虚假用

户群。

一步可以使用模型的概述。

两步法第一步使用的模型如下。

(1)朴素贝叶斯分类器

朴素贝叶斯分类统计的一种分类方式，是一

种利用概率论知识进行分类的算法。假设每个数

样本有一个刀维的特征向量来描述其，1个属性的

3．1

基于正样本和未标记样本的半监督式学习

半监督学习是监督学习与无监督学习相结合

的一种学习方法。半监督学习使用大量的未标记

数据以及少量标记数据来进行建模。在现实任务

中，未标记样本多、有标记样本少是一个比价普

遍现象，利用好未标记样本来提升模型泛化能力，

就是半监督学习优势所在。半监督学习不仅可以

极大地减少人为的工作量，又可以同时获得准确

性较高的结果。在物联网虚假用户识别的案例中，

有大量的未标记数据以及少部分确定的虚假用户

数据，这种数据特征非常适合使用于正样本和未

值，即：胎{Xl，x2，，吒)。假设有m个类别，分

别用CI，C2，，q来表示，给定一个未知的数据样

本兄使用朴素贝叶斯分类器将未知样本x分配

给类别e，则一定有一下结论：

(1)

P(GIX>C，Ix)，1 J m，i≠J

根据贝叶斯理论可得：

(2)

P(CIX)：—p(xIc—)p(c)

P(X)

由于P∞对于所有类都是常数，最大后验概

率P(C：f X)可以转化为最大化先验概率

万方数据

全部评论(0)

暂无评论

评论赚积分>>

上传资源上传优质资源有赏金

机器学习在物联网虚假用户识别中的运用

资料介绍

部分文件列表

部分页面预览

相关下载

全部评论(0)

热门标签

最新上传

热门下载

推荐下载

专栏首页