推荐星级：
- 1
- 2
- 3
- 4
- 5
基于模糊C-均值的相似性特征转换光滑支持向量机
资料介绍
在用于非线性分类的光滑支持向量机(SSVM)模型中,核函数必须满足Mercer’s条件,由此限制了核函数的选择范围;并且在面对大规模数据集时,SSVM模型的计算复杂度很高,训练时间长.针对这两点缺陷提出了基于模糊C-均值的相似性特征转换光滑支持向量机模型(SFT-SSVM-FCM).首先,运用基于相似性的特征转换,使得核函数不需要再满足Mercer’s条件,从而拓宽了核函数的选择范围;其次,运用模糊C-均值(FCM)分群技术,将完整的训练数据集划分成若干子簇,分别在每一个子簇上进行已经过相似性特征转换的SSVM模型训练.实验表明:与传统的SVM、SSVM模型及一系列变体模型相比较,该新模型在训练时间、分类精度方面都具有更好的表现.
部分文件列表
| 文件名 | 大小 |
| 基于模糊C-均值的相似性特征转换光滑支持向量机.pdf | 2M |
部分页面预览
（完整内容请下载后查看）11
Vol． 46 No． 11
Nov． 2018
第
期
电
子
学
报
2018
11
ACTA ELECTRONICA SINICA
年
月
C-
基于模糊 均值的
相似性特征转换光滑支持向量机
1，2
1，2
3
1，2
， ， ，
方佳艳 刘 峤 吴 德 秦志光
( 1.
，
电子科技大学信息与软件工程学院 四川成都
611731; 2.
( ) ， 611731;
网络与数据安全省级重点实验室 电子科技大学 四川成都
3.
，
西安电子科技大学计算机学院 陕西西安
710071)
:
( SSVM)
，
Mercer’s
，
摘
要
在用于非线性分类的光滑支持向量机
模型中 核函数必须满足
条件 由此限制了核
模型的计算复杂度很高 训练时间长 针对这两点缺陷提出了基
( SFT-SSVM-FCM) ．
;
函数的选择范围 并且在面对大规模数据集时
，SSVM
，
．
C-
于模糊 均值的相似性特征转换光滑支持向量机模型
，
，
首先 运用基于相似性的特征转换 使得核
Mercer’s
， ; ， C-
条件 从而拓宽了核函数的选择范围 其次 运用模糊 均值
( FCM)
，
分群技术 将完整的
函数不需要再满足
，
训练数据集划分成若干子簇 分别在每一个子簇上进行已经过相似性特征转换的
SSVM
． :
模型训练 实验表明 与传统
SVM、SSVM
， 、
模型及一系列变体模型相比较 该新模型在训练时间 分类精度方面都具有更好的表现
．
的
:
;
C-
;
;
关键词
中图分类号
URL: http: / /www． ejournal． org． cn
光滑支持向量机 模糊 均值 相似性 特征转换
:
TP181
:
A
: 0372-2112 ( 2018) 11-2714-11
DOI: 10． 3969 /j． issn． 0372-2112． 2018． 11． 019
文献标识码
文章编号
电子学报
Smooth Support Vector Machine with Similarity-Based Feature
Transformation Technique and Fuzzy C-Means Clustering
1，2
1，2
3
1，2
FANG Jia-yan ，LIU Qiao ，WU De ，QIN Zhi-guang
( 1. School of Information and Software Engineering，University of Electronic Science and Technology of China，Chengdu，Sichuan 611731，China;
2. Provincial Key Laboratory of Network and Data Security，Chengdu，Sichuan 611731，China;
3. School of Computer Sciences，Xidian University，Xi’an，Shaanxi 710071，China)
Abstract: We propose a new model called smooth support vector machine with similarity-based feature transforma-
tion and fuzzy C-means ( FCM) clustering ( SFT-SSVM-FCM) ． When the similarity-based feature transformation technique
is applied，Mercer’s conditions are no longer required for kernel functions，thus broadening the range of usable kernel func-
tions． We also incorporate the Fuzzy-C means clustering technique to divide a whole dataset into several clusters each of
which is used to perform SSVM with similarity-based feature transformation． The experimental results indicate that the pro-
posed model has better performance compared with the conventional SVM and SSVM model as well as some variants in
terms of classification accuracy and training time．
Key words: smooth support vector machine; fuzzy C-means ( FCM) ; similarity; feature transformation
［7，8］
．
，
其中 支持向量机最显著的一个特点就是可
模型
以利用核函数解决高维空间中的向量内积的复杂运算
Mercer’s
1
引言
，
在统计学习和优化理论中 对于小样本的分类问
．
，
问题 然而 核函数的选择必须要严格满足
条
［1，2］
，
题 支持向量机
，
是一种非常高效的分类模型 并且
． ，
件 只有具备对称性 并且对应的
Gram
矩阵具备半正
，
因其选择参数少 泛化性好以及能够得到全局最优解
．
定的特性的函数才能作为一个有效的核函数来使用
［3 ～ 6］
，
的特性从而被广泛使用
同时也衍生出很多的变体
，
由此就限制了核函数的选择范围 一些性能高效并且
: 2017-10-15;
: 2018-02-21;
:
责任编辑 孙瑶
收稿日期
修回日期
高技术研究发展计划
( No． 2017GZ0308)
:
863
( No． 2011AA010706) ;
( No． 61133016，No． 61772117) ;
国家自然科学基金重点项目 四川省高新技术及产
基金项目 国家
业化面上项目
2715
11
: C-
方佳艳 基于模糊 均值的相似性特征转换光滑支持向量机
第
期
(
形式简单的核函数 例如
compact support kernel func-
HSSVM
．
模型中 采用分段识别的思想构造分片支持向
tion)
．
， ，
量机 利用样本特征进行等间距分割 导致某些子空间
不能被用于支持向量机的模型
，
为了突破这一限制 我们考虑一种类似于文献
［3］
， ，
仅含一类样本 分类精度较差 此时需要缩减子空间的
，
中的对于原始数据特定的特征转换 并在此基础上加
， ， ．
数目 并重新分割训练数据集 故而增加了训练时间 文
．
以改进 由于核函数本身可以作为两个数据点之间相
［10］ ［23］
献 和文献 运用了分段函数近似支持向量机中
，
似性的度量 本文提出了一种基于相似性的对原始数
， ，
的松弛向量的加函数 导出光滑可微的模型 但这有悖
．
据的特征转换 我们不去计算一个数据点和其他所有
．
于分段识别思想的初衷
［4，6，24］
［3，9，22］
， K-
数据点的相似性 而是先利用 均值算法从所有的训
，
平滑技术以及分段线性识别
受隐空间
，
练数据中选择一些代表点 然后分别去计算一个特定
， : C-
思想的启发 本文提出了一种新的模型 基于模糊 均
，
的数据点与这些代表点之间的相似性 将这个特定数
据点与每一个代表点之间的相似性作为该特定数据点
． ， K-
值的相似性特征转换光滑支持向量机 首先 采用 均
，
值算法从训练数据集中选出一些代表点 然后分别计
，
的特征转换向量的其中一个维度 从而得到了最终的
，
算特定的数据点和所有代表点之间的相似性 将该数
据点和每一个代表点的相似性度量作为该原始数据点
． ［3］ ，
特征转换向量 和文献 中提出的特征转换相比 我
K- ［3］
们利用了 均值算法剔除了文献 的特征转换向量
． ，
的特征转换向量的一个维度 完成了特征转换之后 我
，
中的一些物理含义相似的特征维度 从而降低了特征
C-
们借助于模糊 均值集群算法将整个训练数据集分成
，
转换向量的维度 提高了训练速度并且 减 少 了 预 测
，
若干子簇 每一个子簇分别用来训练经过了基于相似
SSVM ． ，
模型 最后 引入了一系列结合
．
时间
性的特征转换的
，
( SVM)
，
模型 我们仍然需要
然而 基于支持向量机
去解决一个有条件的最佳化问题 因此我们需要引入
拉格朗日乘子将其转换成为对偶形式的二次规划问题
规则将来自于不同子簇的分类器结合形成最终的决策
，
．
函数
2
C-
基于模糊 均值的相似性特征转换光滑
． ， : ，
求得全局最优解 由此 存在两点缺陷 第一 有条件的
支持向量机
二次凸优化问题限制了无条件优化领域中的一些高效
: T =
给 定 一 个 用 于 二 元 分 类 的 训 练 数 据 集
; ，
的优化算法的使用 第二 当需要处理大样本数据集时
，
N
n
{ ( x ，y ) } ，x
i = 1
R
，y { 1，－ 1}
是训练样本 ∈ 是训练
i
∈
i
i
i
，
该算法的训练时间比较长 效率低下
．
N
l
． X = { x }
i
Y = { y }
i
样本对应的标签
和
分别是样本
i = 1
Yuhjye Lee
O L Mangarasian
i = 1
和
提出了光滑支持向
，
它是一种利用了平滑技术的光滑可微
［9］
．
集合和标签集合 因此用
T = ( X，Y)
来表示二元分类训
( SSVM)
量机
．
练数据集
． SSVM
，
具有严格的凸性和无限可微的数学特性
模型
SFT-SSVM-FCM
:
包含了四个部分 基于相似性的特
，
并且引入了高效的无约束优化问题 从而吸引了很多
［10 ～ 16］
; C- ;
征转换 模糊 均值集群 在子簇中训练多个光滑支持
SSVM
:
有的提出了
学者从不同的角度研究
模型
［10，12 ～ 15］
; ．
向量机模型 对多个子簇训练产生的分类器的结合 算
，
不同的 平滑函 数
有 些 则 将 其 拓展 到 预 测 领
［5，11］
［17 ～ 19］
1
法的具体流程如图 所示
．
．
SVM
SSVM
和
域
其他有关
的应用在
中有所
SDWNS-
从而收到了良好的效果 并且证明了该精确模
SSVM
． LIANG
介绍
提 出 了 一 种 精 确 的 光 滑 模 型
［16］
VM
，
，
．
模型之间的等价性 光滑支持向量机模
型和原始
型克服了
二个缺陷
SVM
，
算法的第一个缺陷 但是并没有解决第
． LIANG
还提出了一种隐空间光滑支持向量
［20，21］
( SHSSVM)
， SSVM
但是仍然具有和 相同的
机模型
， ，
缺陷 即对于大样本数据集来说 具有较长的训练时间
．
2. 1
基于相似性的特征转换
，
因此我们需要去建立一种训练时间较短的模型
N
X = { x }
i
．
是独立同分布的数据集 定义一个
假设
实函数集合
，
即使是面对大规模的数据集 仍然可以具备很高的时
i = 1
:
． REN
［22］ :
在文献 中指出 分段线性识别可以用
间效率
{
( x) i = 1，2，…，d}
( 1)
φ
，
来近似不同形状的超平面 最后的决策平面由多个分
i
， d
也就是说 输入数据点被映射到了一个 维特征空间
．
段线性函数的子超平面组合而成 该模型具有很强的
，
中 如下
，
适应性和分类能力 在线性和非线性识别上做到了一
φ
． REN SVM
还将分片技术运用到了
个很好的折中
模型
T
x
z =
[
(
x
)
，
φ
(
x
)
，…，
φ
d
(
x
)]
( 2)
→
φ
1
2
， ，
当中 并取得了较好的效果 但是并没有将它延伸到
全部评论(0)