推荐星级：
- 1
- 2
- 3
- 4
- 5
面向大规模噪声数据的软性核凸包支持向量机
资料介绍
现有的面向大规模数据分类的支持向量机(support vector machine,SVM)对噪声样本敏感,针对这一问题,通过定义软性核凸包和引入pinball损失函数,提出了一种新的软性核凸包支持向量机(soft kernel convex hull support vector machine for large scale noisy datasets,SCH-SVM).SCH-SVM首先定义了软性核凸包的概念,然后选择出能代表样本在核空间几何轮廓的软性核凸包向量,再将其对应的原始空间样本作为训练样本并基于pinball损失函数来寻找两类软性核凸包之间的最大分位数距离.相关理论和实验结果亦证明了所提分类器在训练时间,抗噪能力和支持向量数上的有效性.
部分文件列表
| 文件名 | 大小 |
| 面向大规模噪声数据的软性核凸包支持向量机.pdf | 3M |
部分页面预览
（完整内容请下载后查看）2
Vol． 46 No． 2
Feb． 2018
第
期
电
子
学
报
2018
2
ACTA ELECTRONICA SINICA
年
月
面向大规模噪声数据的软性核凸包支持向量机
1，2
2
1
1
， ， ，
顾晓清 倪彤光 姜志彬 王士同
( 1．
，
江南大学数字媒体学院 江苏无锡
214122; 2．
，
常州大学信息科学与工程学院 江苏常州
213164)
:
( support vector machine，SVM)
，
对噪声样本敏感 针对这一问
摘
要
现有的面向大规模数据分类的支持向量机
pinball
，
题 通过定义软性核凸包和引入
，
( soft kernel convex hull sup-
损失函数 提出了一种新的软性核凸包支持向量机
首先定义了软性核凸包的概念 然后选择出能代
pinball
port vector machine for large scale noisy datasets，SCH-SVM) ． SCH-SVM
，
，
表样本在核空间几何轮廓的软性核凸包向量 再将其对应的原始空间样本作为训练样本并基于
损失函数来寻
． ，
找两类软性核凸包之间的最大分位数距离 相关理论和实验结果亦证明了所提分类器在训练时间 抗噪能力和支持向
．
量数上的有效性
:
;
;
; pinball ;
损失函数 分类
关键词
中图分类号
URL: http: / /www． ejournal． org． cn
大规模数据 噪声 软性核凸包
:
TP391. 4
:
A
: 0372-2112 ( 2018) 02-0347-11
DOI: 10． 3969 /j． issn． 0372-2112． 2018． 02． 013
文献标识码
文章编号
电子学报
Soft Kernel Convex Hull Support Vector Machine for
Large Scale Noisy Datasets
1，2
2
1
1
GU Xiao-qing ，NI Tong-guang ，JIANG Zhi-bin ，WANG Shi-tong
( 1． School of Digital Media，Jiangnan University，Wuxi，Jiangsu 214122，China;
2． School of Information Science and Engineering，Changzhou University，Changzhou，Jiangsu 213164，China)
Abstract: Current support vector machines ( SVMs) for large-scale datasets classification problems are almost sensi-
tive to noises． To overcome this problem，a new soft kernel convex hull support vector machine called SCH-SVM is proposed
based on the soft kernel convex hull and pinball loss function． SCH-SVM extracts the soft convex hull vectors in the kernel
space，which can represent geometric profile of data in the kernel space． Then SCH-SVM represents the original samples
which projected as the soft convex hull vectors for the training samples，and finds the maximum quantile distance between
soft kernel convex hulls belonging to two classes by using pinball loss function． Theoretical analysis and numerical experi-
ments show that SCH-SVM has distinctive ability of training time，noise resistibility，and the number of support vectors．
Key words: large scale datasets; noise; soft kernel convex hull; pinball loss function; classification
SVM
目前几乎所有的面向大规模数据的
分类器都
1
引言
． ，
基于样本无噪声的前提 然而 现实世界的真实数据普
［9］
( Support Vector Machine，SVM)
支持向量机
使用统
．
，
当前 抗噪型
SVM
3
遍存在噪声或例外点
可分为
，
计学习理论和最优化方法解决机器学习问题 凭借其
优秀的泛化性能成为模式识别领域一个非常重要的分
， ，
类 一类是模糊支持向量机 如双权重模糊支持向量
［10］
［11］
;
一类是使用
机
和最小类内散度模糊支持向量机
．
．
支 其最优化问题常描述成二次规划问题 对于样本数
SVM
分类器的时间复杂度为
［12，13］
， pinball
噪声不敏感的损失函数 如
;
另一
损失函数
N
，
为
的数据集来说 训练
，
类是基于数据相似信息的挖掘 如多任务单类支持向
3
O( N ) ．
SVM
， :
的计算复杂度 常用的方法有 逼
为降低
［14］
．
量机
数据的分类 为解决这一问题 本文提出了一种面向大
( Soft Kernel
但这些分类器因计算代价高不适用于大规模
［1］
，
近替代二次规划问题中的核矩阵计算 如贪婪逼近
，
．
，
［2］
［3］
;
矩阵分解法 和矩阵变换法 等 减少训练样本数或
［4，5］
规模噪声数据的软性核凸包支持向量机
，
限制支持向量数 如核心集向量机
，
快速核密度估
［6］
［7］
［8］
Convex Hull Support Vector Machine for Large Scale Noisy
，
SVM
．
等
计
近似极值点支持向量机 和采样
: 2016-10-24;
: 2017-10-17;
:
责任编辑 马兰英
收稿日期
修回日期
:
基金项目 国家自然科学基金
( No． 61572236，No． 61572085) ;
( No． BK20160187)
江苏省自然科学基金
348
2018
年
电
子
学
报
Datasets，SCH-SVM) ，SCH-SVM
，
廓的方法 其定义如下
:
首先定义了软性核凸包
［15，16］
1
(
)
d
X = { x
维空间中样本集
并选择出代表样本轮廓的软性核凸包向量作为训练样
pinball
定义
凸包
i
d
*
，
本 并借助
损失函数寻找垂直平分两类训练样
R ，i = 1，2，…，N}
X
是包含所有样本的最小
∈
的凸包
．
本的最近分位数距离来确定最优分类超平面 该分类
． X x
凸集 样本集 内任何样本 都可用凸包向量的线性
i
，
器在保持样本核空间的几何轮廓的同时 忽略样本在
， :
组合来表示 即
，
核空间几何轮廓内部的噪声 同时对软性核凸包中的
x =
i
x
μ
∑
i，t t
( 5)
*
x
X
∈
t
， ．
噪声不敏感 有效减少了训练时间和支持向量数 文中
，
= 1
0．
且 μ ≥
i，t
其中
μ
SCH-SVM
∑
*
X
i，t
定理证明了
使用软性核凸包向量作为训练样
x
∈
t
．
本对分类精度的影响是极其有限的
1，
根据定义 下面给出核凸包和软性核凸包的定义
．
2
(
)
x
核映射 将样本 映射到核
定义
核凸包
2
pinball
损失函数
F， X F con( X) ，
空间 样本集 在核空间 中的核凸包为 则
SVM
传统
对样本噪声尤其是分类面边界周围的噪
X x
样本集 内任何样本 在核空间的映射都可用核凸包
i
． ，
声敏感 受统计学中分位数应用的启发 文献
［12，13］
， :
向量的线性组合来表示 即
pinball
SVM
，
中 提出了最大化两类
将
损失函数引入到
( x ) =
i
( x )
μ
i，t
( 6)
∑
t
．
分位数距离的分类策略 设有离散标量集合
U = { u ，
1
( x ) con( X)
∈
t
u ，…，u } ，q
m
:
下分位数可以表示为
2
，
= 1
μ
i，t
0．
且 μ ≥
i，t
其中
∑
q
( x ) con( X)
∈
t
min { U} = { t: t R，t is large than q ratio of u } ( 1)
∈
i
， 2
为了保证核凸包的可解性 在定义 的基础上引入
pinball
使用
损失函数来寻求样本间的最大分位数
， “ ”
误差阈值 ε 得到 软化 了的核凸包
．
距离对噪声样本尤其对分类面周围的噪声样本不敏
3
(
)
X
定义
软性核凸包
设原始样本集 在核空
在核空间中的软性
内所有样本在核空间的映射与
，
感 可以有效提高分类器的抗噪能力
． pinball
损失函数
Z = { ( x ) ， x X} ，X
间的映像
∈
i
［13］
i
L ( u)
τ
:
定义为
*
Z ， X
则
核凸包表示为
u，
if u
0
≥
L ( u) =
τ
{
中的分位数 之间存在关系 τ
( 2)
:
软性核凸包向量的线性关系满足
－ u， otherwise
τ
2
，L
其中
/( 1 + )
． pinball
τ 下分位数
表示为 τ
损失函数参数
maxmin ( x ) －
i
( x )
t
( 7)
μ
i，t
≤ε
τ
∑
x
X
∈
i
*
( x )
t
Z
∈
( 1)
τ 与式
q
= q/( 1 － q) ．
，0 1
其中 ≤μ ≤ 且
i，t
= 1．
μ
i，t
∑
，
在二元分类问题中 给定数据集
X = { x ，x ，…，
2
*
1
( x )
t
Z
∈
x }
N
Y = { y ，y ，…，y } ．
2
和其类别标签
假设序列集Ⅰ和
Z
因此核空间映像 中每一个元素
( x )
与软性核
i
1
N
= { i | y = 1}
i
= { i | y = － 1} ．
此时分
i
Ⅱ分别表示Ⅰ
类器可表示为
{
和Ⅱ
:
凸包向量的线性组合可写成
:
( x ) =
i
( x ) +
δ
i
( 8)
γ
i，t
∑
t
q
T
q
T
*
( x )
t
Z
∈
}
max min y ( w x + b) + min y ( w x + b)
i
i
i
i
i
i
∈Ⅰ
∈Ⅱ
w
= 1，b
‖
‖
2
，
其中
δ
≤ε 且
i
( 3)
*
*
， if ( x ) Z ， ( x ) Z and ( x ) Z
i
μ
∈
∈
i，t
t
i
［13］
文献 提出的
pin － SVM
:
的优化问题可表示为
=
γ
i，t
{
软性核凸包向量 第 种是软性核凸包向量 这些噪声
N
0， otherwise
1
C
2
min
w
+
，
ξ
i
∑
N
i = 1
2 : 1
对于噪声样本按几何分布可分成 种 第 种是非
w，b，
ξ
2
( 4)
T
;
2
，
s． t． y ( w ( x ) + b) 1 － ，i = 1，2，…，N，
ξ
i
≥
i
i
．
样本会作为训练样本参与到分类器构建中 因此
，SCH-
1
T
y ( w ( x ) + b) 1 +
≤
i
，i = 1，2，…，N
ξ
i
i
SVM
在使用不同类别样本的软性核凸包向量作为训练
pin-SVM
τ
，
样本时 同时使用
，
作为基础模型 最大化两类
( 4)
，
的求解可转换为二次规划问题 其时间复杂度为
式
3
． SCH-SVM
分位数距离得到抗噪的分类器模型
的无约
O( N ) ．
pin-SVM
．
只能处理小样本分类问题
因此
:
束原始问题描述为
3
面向大规模噪声数据的软性核凸包支持向
量机
M
1
C
N
2
min
w
+
l( w，b， ( x ) )
t
( 9)
∑
w，b
2
t = 1
，l ( w，b， ( x ) )
t
pinball ，l ( w，b，
损 失 函 数
其中
为
3． 1 SCH-SVM
的基本思想
T
T
( x ) ) = max{ － ［1 － y ( w ( x ) + b) ］，1 － y ( w ( x )
τ
t
SVM
的求解问题等价于寻找使得能够最大间隔地
t
t
t
t
［14］
+ b) } ，( x )
t
，M
．
为软性核凸包向量
是软性核凸包向量
分离了两类样本的外围轮廓点的最优分类超平面
，
从几何角度看 凸包是一种能够准确描述空间物体轮
． ， SCH-SVM
的个数 引入拉格朗日向量 α 和 α珘可得到
原
更多>>
最新上传
- 打赏
- 30日榜单
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic下载 打赏310.00元 3天前
用户：小猫做电路
-
21ic下载 打赏310.00元 3天前
用户：gsy幸运
-
21ic下载 打赏310.00元 3天前
用户：liqiang9090
-
21ic下载 打赏310.00元 3天前
用户：zhengdai
-
21ic下载 打赏160.00元 3天前
用户：w1966891335
-
21ic下载 打赏160.00元 3天前
用户：w178191520
-
21ic下载 打赏160.00元 3天前
用户：kk1957135547
-
21ic下载 打赏40.00元 3天前
用户：WK520077778
-
21ic下载 打赏40.00元 3天前
用户：sun2152
-
21ic下载 打赏30.00元 3天前
用户：xuzhen1
-
21ic下载 打赏50.00元 3天前
用户：铁蛋锅
-
21ic下载 打赏30.00元 3天前
用户：xzxbybd
-
21ic下载 打赏40.00元 3天前
用户：z00
-
21ic下载 打赏40.00元 3天前
用户：forgot
-
21ic下载 打赏40.00元 3天前
用户：happypcb
-
21ic下载 打赏20.00元 3天前
用户：zhaoqshan
-
21ic下载 打赏5.00元 3天前
用户：17724187683
-
21ic下载 打赏5.00元 3天前
用户：zmm1818
-
21ic小能手 打赏15.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
chenruiji 打赏1.00元 3天前
资料：血糖仪原理图
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
资料：测试智能语音控制模块
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
cai0603 打赏3.00元 3天前
用户：CJQ_ENJOY
-
21ic小能手 打赏5.00元 3天前
全部评论(0)