积分商城

最新搜索： 相位差磁调制 icn2027 电机 ATmega8U2 STM32H743 核心板 qcom
您现在的位置是：首页 > 技术资料 > 改进的投影孪生支持向量机
推荐星级：
  • 1
  • 2
  • 3
  • 4
  • 5

改进的投影孪生支持向量机

更新时间：2019-12-24 19:22:12 大小：1M 上传用户：zhiyao6查看TA发布的资源 标签：支持向量机 下载积分：1分 评价赚积分 （如何评价?） 打赏 收藏 评论(0) 举报

资料介绍

针对投影孪生支持向量机(Projection Twin Support VectorMachine,PTSVM)在训练和求解过程中存在的问题,提出了一类改进的投影孪生支持向量机(Improved PTSVM),简称为IPTSVM.该文首先构造了改进的线性投影孪生支持向量机,然后利用核技巧轻松将其推广到了非线性形式.本文的主要贡献有:(1)提出了投影孪生支持向量机的新模型,克服了原始PTSVM在训练之前需要求解两个逆矩阵的问题;(2)继承了传统SVM(Support VectorMachine)的精髓,利用核技巧直接将线性IPTSVM推广到非线性形式;(3)引入了一个新的参数,可以调节模型的性能,提高了IPTSVM的分类精度.实验结果表明,与PTSVM算法相比较,IPTSVM不仅提高了分类精度,而且克服了PTSVM的一些不足.


部分文件列表

文件名 大小
改进的投影孪生支持向量机.pdf 1M

【关注视频号领20积分】   【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）
2
Vol． 45 No． 2  
Feb． 2017  
第
期
电
子
学
报
2017  
2
ACTA ELECTRONICA SINICA  
年
月
改进的投影孪生支持向量机  
1，2  
1
，
陈素根 吴小俊  
( 1．  
，
江南大学物联网工程学院 江苏无锡  
214122; 2．  
，
安庆师范大学数学与计算科学学院 安徽安庆  
246133)  
:
( Projection Twin Support Vector Machine ，PTSVM)  
摘
要
针对投影孪生支持向量机  
在训练和求解过程中存在  
该文首先构造了改进的线性投  
: ( 1)  
，
的问题 提出了一类改进的投影孪生支持向量机  
( Improved PTSVM) ， IPTSVM．  
简称为  
，
．
影孪生支持向量机 然后利用核技巧轻松将其推广到了非线性形式 本文的主要贡献有 提出了投影孪生支持向  
PTSVM ; ( 2) SVM( Support Vector Ma-  
继承了传统  
，
量机的新模型 克服了原始  
在训练之前需要求解两个逆矩阵的问题  
chine)  
，
的精髓 利用核技巧直接将线性  
IPTSVM ; ( 3)  
推广到非线性形式  
，
引入了一个新的参数 可以调节模型的性能  
，
IPTSVM  
． ， PTSVM  
的分类精度 实验结果表明 与  
，IPTSVM ， PTSVM  
不仅提高了分类精度 而且克服了  
提高了  
算法相比较  
．
的一些不足  
关键词  
:
;
;
;
支持向量机 非平行平面支持向量机 投影孪生支持向量机 模式分类  
TP391 0372-2112 ( 2017) 02-0408-09  
URL: http: / /www． ejournal． org． cn DOI: 10． 3969 /j． issn． 0372-2112． 2017． 02． 020  
:
:
A
:
文章编号  
中图分类号  
电子学报  
文献标识码  
Improved Projection Twin Support Vector Machine  
1，2  
1
CHEN Su-gen ，WU Xiao-jun  
( 1． School of Iot Engineering，Jiangnan University，Wuxi，Jiangsu 214122，China;  
2． School of Mathematics and Computational Science，Anqing Normal University，Anqing，Anhui 246133，China)  
Abstract: An Improved Projection Twin Support Vector Machine ( IPTSVM) is presented． The target of the proposed  
IPTSVM is to deal with a set of problems in the training and solving steps of PTSVM． We first propose a linear IPTSVM for  
binary classification． Then we extend it to the corresponding nonlinear version using kernel tricks． The paper has three main  
contributions to the community: ( 1) A new PTSVM-based method is proposed，in which we do not have to compute the in-  
verse of a large matrix before the training step． ( 2) We design the nonlinear IPSVM that is obtained by using kernel tricks．  
( 3) A new parameter is introduced，which can adjust the performance of the model and improve the classification accuracy  
of IPTSVM． Experimental results obtained from several datasets demonstrate that，compared with PTSVM，IPTSVM not only  
improves the classification accuracy but also overcomes some deficiencies to a certain extent．  
Key words: support vector machine; nonparallel hyperplane support vector machine; projection twin support vector  
machine; pattern classification  
［4］  
， ，  
究 取得了许多优秀研究成果 如  
Chunking  
、
分
算法  
1
引言  
［5］  
SMO( Sequential Minimal Optimization (  
解算法  
和
序列  
SVM  
［1］  
［6］  
( SVM)  
，
因
支持向量机  
是经典的分类算法之一  
) ) ; ，  
最小优化算法 算法 等 另一方面 构建新型  
为它具有坚实的理论基础和良好的泛化性能而得到广  
，
算法也逐渐引起了大家的关注 非平行平面支持向量  
［2，3］  
．
SVM 、  
算法在解决小样本 非线性和  
泛应用  
传统的  
．
机算法就是代表性成果之一 最早开始研究非平行平  
，
高维模式问题中表现出了许多优势 但由于在训练过  
Mangasarian Wild，2006  
，
年
面支持向量机算法的是  
他们提出了广义特征值中心支持向量机算法  
VM，Generalized Eigenvalues Proximal Support Vector Ma-  
和
，
程可能会求解大规模的逆矩阵问题 就会表现出训练  
( GEPS-  
． ，  
速度慢和效率低下等问题 为了解决这些问题 一方面  
，
［7］  
诸多学者对如何设计高效的求解算法进行了深入研  
chine)  
，
来处理两类分类问题 对每一类训练样本构造  
: 2015-09-22;  
: 2015-11-17;  
:
责任编辑 马兰英  
收稿日期  
修回日期  
:
基金项目 国家自然科学基金  
( No． 61373055) ;  
( No． KJ2015A266，No． KJ2016A431)  
安徽省高等学校自然科学研究重点项目  
409  
2
:
陈素根 改进的投影孪生支持向量机  
第
期
，
一个分类超平面 将问题转化为求解两个规模较小的  
，
性能 提高了  
IPTSVM  
． ，  
算法的分类精度 最后 在人工数  
，
广义特征值问题 开辟了新的分类和决策思路  
． 2007  
UCI  
据集和标准的  
分类数据集上验证了本文算法的有  
，Khemchandani GEPSVM  
等人在  
年
算法的基础上提出  
．
效性  
( Twin Support Vector Machine，  
了孪生支持向量机算法  
2
投影孪生支持向量机  
［8］  
TWSVM) ，TWSVM  
将问题转化为求解两个规模较小  
SVM  
，
考虑二类分类问题 假设给定的训练集为  
( QP)  
，
问题 训练速度相当于传统  
的二次规划  
的四  
T = { ( x ，+ 1) ，( x ，+ 1) ，…，( x ，+ 1) ，  
p
． 2011  
，
年 陈小波等人提出了投影孪生支持向量  
分之一  
1
2
( 1)  
［9］  
( PTSVM)  
， ，  
寻找两个最优的投影方向 使得本  
机算法  
( x ，－ 1) ，( x ，－ 1) ，…( x ，－ 1) }  
p + q  
p + 1  
p + 2  
n
，
类样本投影之后尽可能聚集在该类的投影中心周围  
: x R ，i = 1，2，…，p + q．  
∈
i
，PTS-  
其中  
对于线性分类问题  
［9］  
．
，
同时它类样本投影之后尽可能远离该投影中心 于是  
诸多学者又纷纷提出了各种改进的投影孪生支持向量  
RPTSVM( A Regularization For The Projection  
VM  
w
w ，  
和 使得本类训  
2
寻找两个最优的投影方向  
1
，
练样本投影后聚集在本类投影中心的周围 同时它类  
，
机算法 如  
Twin Support Vector Machine )  
Squares Projection Twin Support Vector Machine)  
．
样本投影后尽可能分散 具体问题可归结为求解以下  
［10］  
、LSPTSVM ( Least  
:
两个二次规划问题  
［11，12］  
p
p
p+q  
．
从
1
1
T
T
2
min  
( w ·x － w ·  
1
x ) + C  
j
ξ
∑
k
∑
i
1
∑
1
，
此 非平行平面支持向量机算法得到了广泛和深入的  
w ，  
ξ －  
1
2
p
i = 1  
j = 1  
k = p+1  
p
，
研究 其中代表性的成果有  
: TBSVM( Twin Bounded Sup-  
1
T
T
s． t． w ·x － w ·  
1
x +  
j
1，  
ξ ≥  
k
［13］  
k
1
∑
port Vector Machine)  
，TPMSVM( Twin Parametric-Mar-  
p
j = 1  
［14］  
gin Support Vector Machine )  
，NPSVM ( Nonparallel  
k = p + 1，p + 2，…，p + q  
0，k = p + 1，p + 2，…，p + q  
［15］  
［16］  
Support Vector Machine )  
( Nonparallel Hyperplane Support Vector Machine)  
TWSVM TBSVM  
存在需计算逆矩阵和对线  
，L -NPSVM  
NHSVM  
和
ξ ≥  
k
1
［17］  
．
等
( 2)  
p+q  
p+q  
p
为了克服  
性与非线性问题分别构造不同模型的缺陷 田英杰等  
NPSVM L -  
和
1
1
T
T
2
min  
( w ·x － w ·  
2
x ) + C  
j
ξ
2 k  
∑
∑
2
i
∑
w ，  
ξ+  
2
，
2
q
i = p+1  
j = p+1  
k =1  
p+q  
人通过引入 ε 不敏感损失函数构造了  
和
1
1
T
T
s． t． w ·x － w ·  
2
x +  
j
1，k = 1，2，…，p  
ξ ≥  
k
k
2
∑
q
j = p+1  
NPSVM ． ，NPSVM L -NPSVM  
算法 然而 和  
1
模型的规模比  
TWSVM  
TBSVM  
． ，  
要复杂 另外 丁世飞等人对非平行  
和
0，k = 1，2，…，p  
ξ ≥  
k
［18］  
．
平面支持向量机算法进行了综述  
( 3)  
T
PTSVM  
虽然  
算法是非常优秀的非平行平面支持向  
， ． ，PTSVM  
量机算法之一 但它依然有一些不足之处 首先  
: C ＞ 0，C ＞ 0  
1
，
是惩罚参数 ξ ξ ξ ξ  
+
= ( ， ，…， ) ，  
p
其中  
2
1
2
T
= (  
，
ξ
p + 2  
，…， ) ， ．  
ξ ξ 是非负松弛变量  
p + q  
ξ
ξ
－
p + 1  
k
，
算法在训练之前必须计算两个矩阵的逆矩阵 当矩阵  
( 2)  
( 3) ，  
和式 作者通过引入  
为了求解优化问题式  
．
规模巨大时会增加模型的计算量 甚至在有些时候会  
KKT( Karush-Kuhn-Tucker)  
，
条件  
拉格朗日函数并结合  
将优化问题转化为其对偶形式  
，
出现矩阵奇异的情况 往往会利用近似逆矩阵来代替  
，
:
; ，  
导致解的不稳定性 其次 原始  
PTSVM  
算法没有给出非  
1
1
1
T
T
－1  
T
T
T
2
min  
( B － e e A) S ( B － e e A)  
2
p
－ e  
α
α
α
2
1
1
1
． ，  
线性的形式 另外 在目前已有的非平行平面支持向量  
α
2
p
，
机算法中 很多算法在构造非线性模型时采用构造两  
s． t．0  
C e  
≤α≤  
1
( 4)  
2
，
个与线性模型不同的优化问题 没有继承传统  
SVM  
基
1
1
1
T
T
－1  
T
T
T
1
min  
( A － e e B) S ( A － e e B)  
2
q
－ e  
β
β
β
1
2
1 2  
β
． ，  
于核技巧推广到非线性模型的精髓 针对以上问题 受  
2
q
NPSVM L -NPSVM  
和
1
，
模型的启发 本文首先提出了改  
s． t．0  
C e  
≤β≤  
2 1  
( 5)  
T
p
，
进的投影孪生支持向量机的线性模型 简称为  
IPTSVM  
:
其中 α 和 β 是拉格朗日乘子  
，e = ( 1，1，…，1)  
1
R ，  
∈
T
q
( Improved PTSVM) ，  
然后利用核技巧直接将其推广到  
e = ( 1，1，…，1)  
2
R ，A  
B
和 分别表示正类训练样本  
∈
．
PTSVM  
非线性形式 与  
面支持向量机算法相比较  
( 1)  
算法或大多数已有的非平行平  
，S  
S
分别表示类内协方差  
2
和负类训练样本的集合  
和
1
，IPTSVM  
:
算法有如下优点  
， :  
矩阵 且  
p
p
p
，
在训练模型之前无需求解两个逆矩阵 回避了可能  
1
1
T
S
=
( x －  
i
·
x ) ( x －  
i
·
x )  
j
和
1
∑
∑
j
∑
; ( 2) SVM  
的奇异和解不稳定的问题  
继承了传统  
髓 利用核技巧直接将线性模型推广到非线性模型 无  
需对线性和非线性问题分别构造两个不同的优化模  
; ( 3)  
的精  
p
p
i = 1  
j = 1  
j = 1  
p+q  
p+q  
p+q  
，
，
1
1
T
S
=
( x －  
i
·
x ) ( x －  
i
·
x )  
j
2
∑
∑
j
∑
q
q
i = p+1  
j = p+1  
j = p+1  
( 4)  
( 5) ，  
和式 可以最终获得最优  
，
引入了一个新的参数 可以更好地调节模型的  
通过求解对偶问题式  
型

相关下载

全部评论(0)

暂无评论
评论赚积分>>

上传资源 上传优质资源有赏金

热门标签

更多>>

最新上传

  • 打赏
  • 30日榜单

热门下载

推荐下载

本站上的所有资源均为源于网上收集或者由用户自行上传，仅供学习和研究使用，无任何商业目的，版权归原作如有侵权，请 来信指出，本站将立即改正。

ICP许可证号：京ICP证070360号     21IC电子网 2000- 版权所有

京ICP备11013301号

京公网安备 11010802024343号