推荐星级：
- 1
- 2
- 3
- 4
- 5
改进的投影孪生支持向量机
资料介绍
针对投影孪生支持向量机(Projection Twin Support VectorMachine,PTSVM)在训练和求解过程中存在的问题,提出了一类改进的投影孪生支持向量机(Improved PTSVM),简称为IPTSVM.该文首先构造了改进的线性投影孪生支持向量机,然后利用核技巧轻松将其推广到了非线性形式.本文的主要贡献有:(1)提出了投影孪生支持向量机的新模型,克服了原始PTSVM在训练之前需要求解两个逆矩阵的问题;(2)继承了传统SVM(Support VectorMachine)的精髓,利用核技巧直接将线性IPTSVM推广到非线性形式;(3)引入了一个新的参数,可以调节模型的性能,提高了IPTSVM的分类精度.实验结果表明,与PTSVM算法相比较,IPTSVM不仅提高了分类精度,而且克服了PTSVM的一些不足.
部分文件列表
| 文件名 | 大小 |
| 改进的投影孪生支持向量机.pdf | 1M |
部分页面预览
（完整内容请下载后查看）2
Vol． 45 No． 2
Feb． 2017
第
期
电
子
学
报
2017
2
ACTA ELECTRONICA SINICA
年
月
改进的投影孪生支持向量机
1，2
1
，
陈素根 吴小俊
( 1．
，
江南大学物联网工程学院 江苏无锡
214122; 2．
，
安庆师范大学数学与计算科学学院 安徽安庆
246133)
:
( Projection Twin Support Vector Machine ，PTSVM)
摘
要
针对投影孪生支持向量机
在训练和求解过程中存在
该文首先构造了改进的线性投
: ( 1)
，
的问题 提出了一类改进的投影孪生支持向量机
( Improved PTSVM) ， IPTSVM．
简称为
，
．
影孪生支持向量机 然后利用核技巧轻松将其推广到了非线性形式 本文的主要贡献有 提出了投影孪生支持向
PTSVM ; ( 2) SVM( Support Vector Ma-
继承了传统
，
量机的新模型 克服了原始
在训练之前需要求解两个逆矩阵的问题
chine)
，
的精髓 利用核技巧直接将线性
IPTSVM ; ( 3)
推广到非线性形式
，
引入了一个新的参数 可以调节模型的性能
，
IPTSVM
． ， PTSVM
的分类精度 实验结果表明 与
，IPTSVM ， PTSVM
不仅提高了分类精度 而且克服了
提高了
算法相比较
．
的一些不足
关键词
:
;
;
;
支持向量机 非平行平面支持向量机 投影孪生支持向量机 模式分类
TP391 0372-2112 ( 2017) 02-0408-09
URL: http: / /www． ejournal． org． cn DOI: 10． 3969 /j． issn． 0372-2112． 2017． 02． 020
:
:
A
:
文章编号
中图分类号
电子学报
文献标识码
Improved Projection Twin Support Vector Machine
1，2
1
CHEN Su-gen ，WU Xiao-jun
( 1． School of Iot Engineering，Jiangnan University，Wuxi，Jiangsu 214122，China;
2． School of Mathematics and Computational Science，Anqing Normal University，Anqing，Anhui 246133，China)
Abstract: An Improved Projection Twin Support Vector Machine ( IPTSVM) is presented． The target of the proposed
IPTSVM is to deal with a set of problems in the training and solving steps of PTSVM． We first propose a linear IPTSVM for
binary classification． Then we extend it to the corresponding nonlinear version using kernel tricks． The paper has three main
contributions to the community: ( 1) A new PTSVM-based method is proposed，in which we do not have to compute the in-
verse of a large matrix before the training step． ( 2) We design the nonlinear IPSVM that is obtained by using kernel tricks．
( 3) A new parameter is introduced，which can adjust the performance of the model and improve the classification accuracy
of IPTSVM． Experimental results obtained from several datasets demonstrate that，compared with PTSVM，IPTSVM not only
improves the classification accuracy but also overcomes some deficiencies to a certain extent．
Key words: support vector machine; nonparallel hyperplane support vector machine; projection twin support vector
machine; pattern classification
［4］
， ，
究 取得了许多优秀研究成果 如
Chunking
、
分
算法
1
引言
［5］
SMO( Sequential Minimal Optimization (
解算法
和
序列
SVM
［1］
［6］
( SVM)
，
因
支持向量机
是经典的分类算法之一
) ) ; ，
最小优化算法 算法 等 另一方面 构建新型
为它具有坚实的理论基础和良好的泛化性能而得到广
，
算法也逐渐引起了大家的关注 非平行平面支持向量
［2，3］
．
SVM 、
算法在解决小样本 非线性和
泛应用
传统的
．
机算法就是代表性成果之一 最早开始研究非平行平
，
高维模式问题中表现出了许多优势 但由于在训练过
Mangasarian Wild，2006
，
年
面支持向量机算法的是
他们提出了广义特征值中心支持向量机算法
VM，Generalized Eigenvalues Proximal Support Vector Ma-
和
，
程可能会求解大规模的逆矩阵问题 就会表现出训练
( GEPS-
． ，
速度慢和效率低下等问题 为了解决这些问题 一方面
，
［7］
诸多学者对如何设计高效的求解算法进行了深入研
chine)
，
来处理两类分类问题 对每一类训练样本构造
: 2015-09-22;
: 2015-11-17;
:
责任编辑 马兰英
收稿日期
修回日期
:
基金项目 国家自然科学基金
( No． 61373055) ;
( No． KJ2015A266，No． KJ2016A431)
安徽省高等学校自然科学研究重点项目
409
2
:
陈素根 改进的投影孪生支持向量机
第
期
，
一个分类超平面 将问题转化为求解两个规模较小的
，
性能 提高了
IPTSVM
． ，
算法的分类精度 最后 在人工数
，
广义特征值问题 开辟了新的分类和决策思路
． 2007
UCI
据集和标准的
分类数据集上验证了本文算法的有
，Khemchandani GEPSVM
等人在
年
算法的基础上提出
．
效性
( Twin Support Vector Machine，
了孪生支持向量机算法
2
投影孪生支持向量机
［8］
TWSVM) ，TWSVM
将问题转化为求解两个规模较小
SVM
，
考虑二类分类问题 假设给定的训练集为
( QP)
，
问题 训练速度相当于传统
的二次规划
的四
T = { ( x ，+ 1) ，( x ，+ 1) ，…，( x ，+ 1) ，
p
． 2011
，
年 陈小波等人提出了投影孪生支持向量
分之一
1
2
( 1)
［9］
( PTSVM)
， ，
寻找两个最优的投影方向 使得本
机算法
( x ，－ 1) ，( x ，－ 1) ，…( x ，－ 1) }
p + q
p + 1
p + 2
n
，
类样本投影之后尽可能聚集在该类的投影中心周围
: x R ，i = 1，2，…，p + q．
∈
i
，PTS-
其中
对于线性分类问题
［9］
．
，
同时它类样本投影之后尽可能远离该投影中心 于是
诸多学者又纷纷提出了各种改进的投影孪生支持向量
RPTSVM( A Regularization For The Projection
VM
w
w ，
和 使得本类训
2
寻找两个最优的投影方向
1
，
练样本投影后聚集在本类投影中心的周围 同时它类
，
机算法 如
Twin Support Vector Machine )
Squares Projection Twin Support Vector Machine)
．
样本投影后尽可能分散 具体问题可归结为求解以下
［10］
、LSPTSVM ( Least
:
两个二次规划问题
［11，12］
p
p
p+q
．
从
1
1
T
T
2
min
( w ·x － w ·
1
x ) + C
j
ξ
∑
k
∑
i
1
∑
1
，
此 非平行平面支持向量机算法得到了广泛和深入的
w ，
ξ －
1
2
p
i = 1
j = 1
k = p+1
p
，
研究 其中代表性的成果有
: TBSVM( Twin Bounded Sup-
1
T
T
s． t． w ·x － w ·
1
x +
j
1，
ξ ≥
k
［13］
k
1
∑
port Vector Machine)
，TPMSVM( Twin Parametric-Mar-
p
j = 1
［14］
gin Support Vector Machine )
，NPSVM ( Nonparallel
k = p + 1，p + 2，…，p + q
0，k = p + 1，p + 2，…，p + q
［15］
［16］
Support Vector Machine )
( Nonparallel Hyperplane Support Vector Machine)
TWSVM TBSVM
存在需计算逆矩阵和对线
，L -NPSVM
NHSVM
和
ξ ≥
k
1
［17］
．
等
( 2)
p+q
p+q
p
为了克服
性与非线性问题分别构造不同模型的缺陷 田英杰等
NPSVM L -
和
1
1
T
T
2
min
( w ·x － w ·
2
x ) + C
j
ξ
2 k
∑
∑
2
i
∑
w ，
ξ+
2
，
2
q
i = p+1
j = p+1
k =1
p+q
人通过引入 ε 不敏感损失函数构造了
和
1
1
T
T
s． t． w ·x － w ·
2
x +
j
1，k = 1，2，…，p
ξ ≥
k
k
2
∑
q
j = p+1
NPSVM ． ，NPSVM L -NPSVM
算法 然而 和
1
模型的规模比
TWSVM
TBSVM
． ，
要复杂 另外 丁世飞等人对非平行
和
0，k = 1，2，…，p
ξ ≥
k
［18］
．
平面支持向量机算法进行了综述
( 3)
T
PTSVM
虽然
算法是非常优秀的非平行平面支持向
， ． ，PTSVM
量机算法之一 但它依然有一些不足之处 首先
: C ＞ 0，C ＞ 0
1
，
是惩罚参数 ξ ξ ξ ξ
+
= ( ， ，…， ) ，
p
其中
2
1
2
T
= (
，
ξ
p + 2
，…， ) ， ．
ξ ξ 是非负松弛变量
p + q
ξ
ξ
－
p + 1
k
，
算法在训练之前必须计算两个矩阵的逆矩阵 当矩阵
( 2)
( 3) ，
和式 作者通过引入
为了求解优化问题式
．
规模巨大时会增加模型的计算量 甚至在有些时候会
KKT( Karush-Kuhn-Tucker)
，
条件
拉格朗日函数并结合
将优化问题转化为其对偶形式
，
出现矩阵奇异的情况 往往会利用近似逆矩阵来代替
，
:
; ，
导致解的不稳定性 其次 原始
PTSVM
算法没有给出非
1
1
1
T
T
－1
T
T
T
2
min
( B － e e A) S ( B － e e A)
2
p
－ e
α
α
α
2
1
1
1
． ，
线性的形式 另外 在目前已有的非平行平面支持向量
α
2
p
，
机算法中 很多算法在构造非线性模型时采用构造两
s． t．0
C e
≤α≤
1
( 4)
2
，
个与线性模型不同的优化问题 没有继承传统
SVM
基
1
1
1
T
T
－1
T
T
T
1
min
( A － e e B) S ( A － e e B)
2
q
－ e
β
β
β
1
2
1 2
β
． ，
于核技巧推广到非线性模型的精髓 针对以上问题 受
2
q
NPSVM L -NPSVM
和
1
，
模型的启发 本文首先提出了改
s． t．0
C e
≤β≤
2 1
( 5)
T
p
，
进的投影孪生支持向量机的线性模型 简称为
IPTSVM
:
其中 α 和 β 是拉格朗日乘子
，e = ( 1，1，…，1)
1
R ，
∈
T
q
( Improved PTSVM) ，
然后利用核技巧直接将其推广到
e = ( 1，1，…，1)
2
R ，A
B
和 分别表示正类训练样本
∈
．
PTSVM
非线性形式 与
面支持向量机算法相比较
( 1)
算法或大多数已有的非平行平
，S
S
分别表示类内协方差
2
和负类训练样本的集合
和
1
，IPTSVM
:
算法有如下优点
， :
矩阵 且
p
p
p
，
在训练模型之前无需求解两个逆矩阵 回避了可能
1
1
T
S
=
( x －
i
·
x ) ( x －
i
·
x )
j
和
1
∑
∑
j
∑
; ( 2) SVM
的奇异和解不稳定的问题
继承了传统
髓 利用核技巧直接将线性模型推广到非线性模型 无
需对线性和非线性问题分别构造两个不同的优化模
; ( 3)
的精
p
p
i = 1
j = 1
j = 1
p+q
p+q
p+q
，
，
1
1
T
S
=
( x －
i
·
x ) ( x －
i
·
x )
j
2
∑
∑
j
∑
q
q
i = p+1
j = p+1
j = p+1
( 4)
( 5) ，
和式 可以最终获得最优
，
引入了一个新的参数 可以更好地调节模型的
通过求解对偶问题式
型
更多>>
最新上传
- 打赏
- 30日榜单
-
21ic小能手 打赏10.00元 2天前
-
21ic小能手 打赏10.00元 2天前
-
cai0603 打赏3.00元 3天前
用户：CJQ_ENJOY
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
cai0603 打赏3.00元 3天前
用户：dongshao
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic下载 打赏310.00元 3天前
用户：gsy幸运
-
21ic下载 打赏310.00元 3天前
用户：zhengdai
-
21ic下载 打赏310.00元 3天前
用户：小猫做电路
-
21ic下载 打赏310.00元 3天前
用户：liqiang9090
-
21ic下载 打赏270.00元 3天前
用户：kk1957135547
-
21ic下载 打赏160.00元 3天前
用户：w178191520
-
21ic下载 打赏160.00元 3天前
用户：w1966891335
-
21ic下载 打赏50.00元 3天前
用户：w993263495
-
21ic下载 打赏40.00元 3天前
用户：w993263495
-
21ic下载 打赏90.00元 3天前
用户：cooldog123pp
-
21ic下载 打赏30.00元 3天前
用户：sun2152
-
21ic下载 打赏40.00元 3天前
用户：xzxbybd
-
21ic下载 打赏40.00元 3天前
用户：铁蛋锅
-
21ic下载 打赏30.00元 3天前
用户：happypcb
-
21ic下载 打赏50.00元 3天前
用户：forgot
-
21ic下载 打赏10.00元 3天前
用户：xuzhen1
-
21ic下载 打赏20.00元 3天前
用户：wanglu6666
-
21ic下载 打赏5.00元 3天前
用户：人间留客
-
21ic下载 打赏5.00元 3天前
用户：jyxjiyixing
-
21ic下载 打赏5.00元 3天前
用户：akae_du
-
21ic下载 打赏5.00元 3天前
用户：ouyang_56
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
xlhtracy 打赏10.00元 3天前
-
xlhtracy 打赏10.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
xlhtracy 打赏5.00元 3天前
-
czmhcy 打赏1.00元 3天前
资料：bitboy
全部评论(0)