积分商城

最新搜索： stm32g0 STM32 stm32f030 stk500 HT24LC64 步进驱动器源码
您现在的位置是：首页 > 技术资料 > 基于马氏抽样的SVM非平衡数据分类算法的泛化性能研究
推荐星级：
  • 1
  • 2
  • 3
  • 4
  • 5

基于马氏抽样的SVM非平衡数据分类算法的泛化性能研究

更新时间：2019-12-24 17:47:31 大小：3M 上传用户：守着阳光1985查看TA发布的资源 标签：数据分类算法 下载积分：1分 评价赚积分 （如何评价?） 打赏 收藏 评论(0) 举报

资料介绍

本文将样本为独立同分布的情形减弱为一致遍历马氏链的情形去研究了非平衡数据分类算法的泛化性能,提出了基于马氏抽样的SVM非平衡数据分类算法、基于马氏抽样的EDSVM非平衡数据分类算法和基于马氏抽样的SVM-WKNN非平衡数据分类算法.并用UCI数据库中的10个实际不平衡数据集进行数值实验,实验结果表明基于马氏抽样的上述三种算法的错分率均比基于随机抽样的对应算法的错分率要低,且上述三种算法中,基于马氏抽样的SVM-WKNN非平衡数据分类算法的泛化性能最好.


部分文件列表

文件名 大小
基于马氏抽样的SVM非平衡数据分类算法的泛化性能研究.pdf 3M

【关注视频号领20积分】   【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）
11  
Vol． 46 No． 11  
Nov． 2018  
第
期
电
子
学
报
2018  
11  
ACTA ELECTRONICA SINICA  
年
月
SVM  
基于马氏抽样的  
非平衡  
数据分类算法的泛化性能研究  
，
徐 婕 贺美美  
(
，
湖北大学计算机与信息工程学院 湖北武汉  
430062)  
:
摘
要
本文将样本为独立同分布的情形减弱为一致遍历马氏链的情形去研究了非平衡数据分类算法的泛化  
SVM EDSVM  
非平衡数据分类算法和基于马氏抽  
，
、
性能 提出了基于马氏抽样的  
非平衡数据分类算法 基于马氏抽样的  
SVM-WKNN  
． UCI  
非平衡数据分类算法 并用  
10 ，  
数据库中的 个实际不平衡数据集进行数值实验 实验结果表明基  
样的  
， ，  
于马氏抽样的上述三种算法的错分率均比基于随机抽样的对应算法的错分率要低 且上述三种算法中 基于马氏抽样  
SVM-WKNN  
．
的
非平衡数据分类算法的泛化性能最好  
:
;
; k ;  
关键词  
中图分类号  
URL: http: / /www． ejournal． org． cn  
马氏抽样 支持向量机  
近邻算法 非平衡数据  
:
TP181  
:
A
: 0372-2112 ( 2018) 11-2660-11  
DOI: 10． 3969 /j． issn． 0372-2112． 2018． 11． 013  
文献标识码  
文章编号  
电子学报  
Research on the Generalization Performance of SVM Imbalanced Data  
Classification Algorithm Based on Markov Sampling  
XU Jie，HE Mei-mei  
( School of Computer Science and Information Engineering，Hubei University，Wuhan，Hubei，430062，China)  
Abstract: This paper changes the assumption that samples are independent and identically distributed to that samples  
are uniformly ergodic Markov chains，which make it convenient for us to study the generalization performance of the imbal-  
anced data classification algorithm，and SVM imbalanced data classification algorithm based on Markov sampling，EDSVM  
imbalanced data classification algorithm based on Markov sampling and SVM-WKNN imbalanced data classification algo-  
rithm based on Markov sampling are proposed． The numerical experiments of ten actual imbalanced datasets in the UCI data-  
base show that the misclassification rate of the above algorithm based on Markov sampling is lower than that of the corre-  
sponding algorithm based on random sampling，and the above three algorithms，SVM-WKNN imbalanced data classification  
algorithm based on Markov sampling has the best generalization performance．  
Key words: Markov sampling; support vector machine; k-nearest neighbor; imbalanced data  
，
种方法是从数据层面的角度出发 主要 方法为 重抽  
1
引言  
［9］  
， ，  
其基本思想是既然样本是不平衡的 那么可以通  
样
，
不管是在学术界还是工业界 对于不平衡数据的  
， ;  
过某种抽样策略 让样本相对均衡一些 第二种方法是  
［1］  
．
研究已经吸引 了 越 来 越 多 学 者 的 关 注  
不 平 衡 数  
，
从算法的角度出发 考虑不同错分类情况下的代价差  
［2］  
［10］  
，
指的是数据集中样本类别是不均衡的 对于标准  
据
， ，  
从而对算法进行优化 使算法在对不平衡数据分  
异
［11］  
， ，  
的二分类问题来说 样本数量多的类称为多数类 样本  
．
类时也能有较好的效果 近年来  
，Japkowicz  
等人 证明  
． ，  
数量少的类称为少数类 在实际应用中 不平衡数据出  
、
了在后向传播神经网络 决策树  
C4. 5、SVM  
几类算法  
［3］  
［4］  
［12］  
，
现在许多领域 如医疗诊断  
、
、
信用卡欺  
文本分类  
，SVM  
．
对非平衡数据的影响较为不敏感 李蓉等人  
中
［5］  
［6］  
［7］  
、
、 ．  
机械故障诊断 等 目前  
，
诈检测  
网络攻击识别  
KSVM ， k SVM  
算法 通过结合 近邻算法和  
提出了一种  
［8］  
:
，
各自的优点 在分类阶段计算待测样本与两类支持向  
解决非平衡数据分类问题常用的方法有两种  
第一  
: 2017-09-04;  
: 2018-02-05; :  
责任编辑 蓝红杰  
收稿日期  
修回日期  
:
基金项目 国家自然科学基金  
( No． 61370002，No． 61403132，No． 61772011)  
2661  
11  
: SVM  
婕 基于马氏抽样的 非平衡数据分类算法的泛化性能研究  
第
期
徐
N
*
*
， ， SVM  
量代表点的距离 如果距离大于给定阈值 则用 来  
y ( x ·x ) ，  
其中  
i
a ．  
是拉格朗日系数 若样本线  
i
∑
α
i = 1  
i
i
j
，
分类 否则以每类支持向量代表点作为训练样本的  
k
近
， ，  
性不可分 可以使用核函数 将输入空间映射到高维特  
［13］  
．
邻算法来分类 王超学等人 提出了一种改进型算  
，
征空间 从而使得原本线性不可分的样本可以在高维  
—EDSVM( Euclidean Distance NN ＆ Support Vector  
法
1
2
，
特征空间可分 此时所求目标函数为  
: min  
w
‖ ‖  
+ C  
2
Machine) ，  
该算 法 对 距 离 分 类 超 平 面 较 远 的 点 使 用  
N
，
ξ 使得  
i
y ( w·x + b) 1 －  
i
，
ξ ξ   
i
0，i = 1，2，…N，  
∑
SVM  
，
进行分类 对于距离分类超平面较近的点则以全  
i = 1  
i
i
，C  
其中 ξ 为松弛变量 为惩罚因子  
i
．
k ，  
部的支持向量作为训练样本的 近邻算法进行分类 提  
SVM  
通过  
训练模型获得的支持向量决定了最终的  
．
高了样本分类的正确率  
以上算法都是建立在样本是独立同分布的假设  
， ，“ ”  
分类超平面 这不但可以抓住关键样本 剔除 大量冗  
，
余样本 而且表明了  
SVM  
“ ” ．  
具有较好 的 鲁棒 性 但  
，
下 然而样本是独立同分布的假设无论是在理论上还  
SVM  
对位于两个类别的边界区域或重叠区域的样本点  
，
是在实际应用中都是非常强的 并且很多机器学习应  
，
进行分类时 会存在一定的分类错误 即  
， SVM  
算法的分  
，
用中产生的数据并不服从独立同分布 于是将独立同  
．
类错误一般都发生在最优分类超平面附近  
2. 2 k  
近邻算法  
，
分布的情形减弱为非独立的情形 如一致遍历马氏链  
［14］  
， ．  
等 已有一些学者做了相关研究 如  
: Xu  
等人 证明了  
k
( k-Nearest Neighbor， KNN)  
简称 是一种  
近邻算法  
SVM  
基于马氏抽样的  
SVM  
算法的泛化性能比基于随机抽样  
［15］  
， ．  
基于距离的算法 它没有明显的前期训练过程 具体过  
． Zou  
的
算法的泛化性能要好  
等人 提出了基于  
［16］  
: ，  
程为 每来一个未知的样本点 就在此样本点附近找  
k
． Smale  
马氏抽样的正则化回归算法  
等人 将马氏抽样  
， ，  
个与之最近的点进行投票 统计投票结果 某类数量最  
．
运用到了在线学习中 本文考虑到样本是独立同分布  
， ．  
多 就把这个测试样本判定为该类  
，
的假设在很多现实问题中不能满足 且随机抽样的效  
［13］  
KNN  
，
，
，
率比较低 所以引入了新的马氏抽样方法来研究基于  
属于懒惰学习方法  
因为要扫描全部训练样本并计算距离所以计算量会较  
KNN ，  
方法主要靠周围有限的邻近样本 而不是  
若测试样本比较大时  
SVM  
一致遍历马氏链样本的  
非平衡数据分类算法的泛  
．
，
化性能 给出了三种基于马氏抽样的非平衡数据分类  
大 由于  
靠判别类域的方法来确定所属类别 因此对于类域的  
，KNN  
方法较其他  
，
， :  
算法 分别是 基于马氏抽样的  
SVM  
非平衡数据类算  
非平衡数据分类算法和基  
、
法 基于马氏抽样的  
EDSVM  
交叉或重叠较多的待分样本集来说  
．
SVM-WKNN  
，
非平衡数据分类算法 三种  
方法更为适合  
于马氏抽样的  
，
2. 3 EDSVM  
算法都是先通过马氏抽样获取算法所需的训练样本  
算法  
［13］  
．
再选用不同的算法对数据进行分类 基于基准库数据  
EDSVM ( Euclidean Distance NN ＆ Support Vector  
，
集实验结果表明 上述基于马氏抽样分类算法的泛化  
Machine) SVM KNN  
是一种改进的 和  
组合的不平衡数  
SVM  
，
性能总是优于基于随机抽样分类算法的泛化性能 并  
， :  
据分类算法 主要思想是 当待测样本与  
最优分类  
，
且将上述三种算法进行泛化性能的对比后发现 基于  
， SVM  
超平面的距离大于一定值时 用  
;
进行分类 当待测  
SVM-WKNN  
SVM  
，
最优分类超平面的距离小于一定值时 以  
马氏抽样的  
非平衡数据分类算法的泛化性  
样本离  
．
，
所有的支持向量作为测试样本的近邻样本 用  
KNN  
能最好  
进
．
行分类  
2
相关概念介绍  
EDSVM  
算法利用了支持向量能够代表训练样本集  
EDSVM  
2. 1  
支持向量机  
， ．  
的含义 提高了分类器的分类精度 但  
没有考  
［17］  
( Support Vector Machine，  
简称  
SVM)  
支持向量机  
KNN  
，KNN  
对非平衡数据带来的影响  
虑到用  
对每个样  
，
是一种应用广泛的分类算法 通过使结构风险最小化  
， ，  
本都赋予了相同的权重 当样本分布不均衡时 可能会  
，
，
来提高泛化能力 实现经验风险和置信范围的最小化  
其基本模型定义为特征空间上间隔最大的线性分类  
Z = { z = ( x ，y ) ，z =  
，
导致测试数据被分到样本容量较大的那一类 造成错  
．
误分类的情况  
2. 4  
．
器 给定特征空间上的训练集  
1
1
1
2
马尔可夫链  
经典的机器学习建立在独立同分布的假设下 然  
而实际应用中很多模型产生的样本是自然涌现的而非  
n
( x ，y ) ，…z = ( x ，y ) } ，  
其中  
N
x
R ，y  
{ + 1，－  
∈
∈
，
2
2
N
N
i
i
1} ，i = 1，2，…N．  
: f( x) = sign  
相应的分类决策函数为  
( wx + b) ，  
其中  
:
，
独立同分布 而马尔可夫链更符合机器学习中数据的  
－ 1， f( x) ＜ 0  
， ，  
分布情况 本文的马尔可夫链为一致遍历马氏链 下面  
sign( f( x) ) =  
．
{
+ 1， f( x)  
0
．
是一致遍历马氏链的概念  
( Z，S)  
N
*
: w =  
y x ，b = y －  
α
i = 1 i  
构造拉格朗日函数可以求得  
∑
，
是一个可测空间 马尔可夫链包括一个随  
记
i
i
i

相关下载

全部评论(0)

暂无评论
评论赚积分>>

上传资源 上传优质资源有赏金

热门标签

更多>>

最新上传

  • 打赏
  • 30日榜单

热门下载

推荐下载

本站上的所有资源均为源于网上收集或者由用户自行上传，仅供学习和研究使用，无任何商业目的，版权归原作如有侵权，请 来信指出，本站将立即改正。

ICP许可证号：京ICP证070360号     21IC电子网 2000- 版权所有

京ICP备11013301号

京公网安备 11010802024343号