您现在的位置是：首页 > 技术资料 > 一种基于全局代表点的快速最小二乘支持向量机稀疏化算法

推荐星级：

一种基于全局代表点的快速最小二乘支持向量机稀疏化算法

更新时间：2019-12-25 15:07:08 大小：905K 上传用户：zhiyao6 查看TA发布的资源 标签：最小二乘支持向量机 下载积分：1分评价赚积分（如何评价?）打赏收藏评论(0) 举报

资料介绍

非稀疏性是最小二乘支持向量机(Least squares support vector machine,LS-SVM)的主要不足,因此稀疏化是LS-SVM研究的重要内容.在目前LS-SVM稀疏化研究中,多数算法采用的是基于迭代选择的稀疏化策略,但是时间复杂度和稀疏化效果还不够理想.为了进一步改进LS-SVM稀疏化方法的性能,文中提出了一种基于全局代表点选择的快速LS-SVM稀疏化算法(Global-representation-based sparse least squares support vector machine,GRS-LSSVM).在综合考虑数据局部密度和全局离散度的基础上,给出了数据全局代表性指标来评估每个数据的全局代表性.利用该指标,在全部数据中,一次性地选择出其中最具有全局代表性的数据并构成稀疏化后的支持向量集,然后在此基础上求解决策超平面,是该算法的基本思路.该算法对LS-SVM的非迭代稀疏化研究进行了有益的探索.通过与传统的迭代稀疏化方法进行比较,实验表明GRS-LSSVM具有稀疏度高、稳定性好、计算复杂度低的优点.

部分文件列表

文件名	大小
一种基于全局代表点的快速最小二乘支持向量机稀疏化算法.pdf	905K

立即下载

【关注视频号领20积分】【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）

第 43 卷第 1 期

2017 年 1 月

自

动

化

学

报

Vol. 43, No. 1

January, 2017

ACTA AUTOMATICA SINICA

一种基于全局代表点的快速最小二乘支持向量机

稀疏化算法

马跃峰 ¹

梁循 ¹

周小平 ¹

摘

要

非稀疏性是最小二乘支持向量机 (Least squares support vector machine, LS-SVM) 的主要不足, 因此稀疏化是

LS-SVM 研究的重要内容. 在目前 LS-SVM 稀疏化研究中, 多数算法采用的是基于迭代选择的稀疏化策略, 但是时间复杂度和

稀疏化效果还不够理想. 为了进一步改进 LS-SVM 稀疏化方法的性能, 文中提出了一种基于全局代表点选择的快速 LS-SVM

稀疏化算法 (Global-representation-based sparse least squares support vector machine, GRS-LSSVM). 在综合考虑数据局

部密度和全局离散度的基础上, 给出了数据全局代表性指标来评估每个数据的全局代表性. 利用该指标, 在全部数据中, 一

次性地选择出其中最具有全局代表性的数据并构成稀疏化后的支持向量集, 然后在此基础上求解决策超平面, 是该算法的

基本思路. 该算法对 LS-SVM 的非迭代稀疏化研究进行了有益的探索. 通过与传统的迭代稀疏化方法进行比较, 实验表明

GRS-LSSVM 具有稀疏度高、稳定性好、计算复杂度低的优点.

关键词最小二乘支持向量机, 稀疏化, 全局代表点, 局部密度, 全局离散度

引用格式马跃峰, 梁循, 周小平. 一种基于全局代表点的快速最小二乘支持向量机稀疏化算法. 自动化学报, 2017, 43(1):

132-141

DOI 10.16383/j.aas.2017.c150720

A Fast Sparse Algorithm for Least Squares Support Vector Machine Based on

Global Representative Points

MA Yue-Feng¹

LIANG Xun¹

ZHOU Xiao-Ping¹

Abstract For lack of sparseness on least squares support vector machine (LS-SVM), the study on sparsity of LS-SVM

is an important topic. Currently, most of the sparse LS-SVM methods are based on the iteration selection strategy.

Consequently, they do not perform well in computation complexity and sparsity. To improve the performance of sparse

LS-SVM method, a fast method, global-representation-based sparse least squares support vector machine (GRS-LSSVM),

is proposed based on the selection of global representative points in this paper. To evaluate datum^′s representation, an

index is given based on local density and global discrete degree. In the algorithm, ﬁrstly, the top global representative

data are selected from all data in one step using the index to construct the support vector set of sparse LS-SVM, and

then the set is used to compute the decision hyperplane of sparse LS-SVM. This algorithm explores the non-iteration on

sparse LS-SVM. Experimental results show that the proposed method has higher sparseness degree, more stability, and

lower computational complexity than the traditional iteration algorithms.

Key words Least squares support vector machine (LS-SVM), sparseness, global representative point, local density,

global discrete degree

Citation Ma Yue-Feng, Liang Xun, Zhou Xiao-Ping. A fast sparse algorithm for least squares support vector machine

based on global representative points. Acta Automatica Sinica, 2017, 43(1): 132-141

分类问题是机器学习的一个主要领域其目标

收稿日期 2015-11-05 录用日期 2016-05-23

是通过对于给定数据集的学习获得能够对未来数

据进行有效分类的分类器^[1]基于不同的构造思

路已经有很多分类学习方法得到了深入的研究和

广泛的应用如贝叶斯方法、决策树方法、神经网

络等其中支持向量机

Manuscript received November 5, 2015; accepted May 23, 2016

国家自然科学基金 (71531012, 71271211), 北京市自然科学基金

(4132067), 中国人民大学品牌计划 (10XNI029), 京东商城电子商

务研究项目 (413313012) 资助

Supported by National Natural Science Foundation of China

(71531012, 71271211), Natural Science Foundation of Beijing

(4132067), Brand Project of Renmin University (10XNI029), E-

[2]

commerce Research Project of Jingdong Mall (413313012)

本文责任编委辛景民

Recommended by Associate Editor XIN Jing-Min

作为其中比较好的分类方法得到了广泛

的关注和应用

将数据空间的数据通过映射到

1. 中国人民大学信息学院北京 100872

1. School of Information, Renmin University of China, Beijing

100872

高维的特征空间并在特征空间里面利用超平面作

为决策平面因此具有了稀疏性、效率高、准确性高

1 期

马跃峰等: 一种基于全局代表点的快速最小二乘支持向量机稀疏化算法

133

等特点^[1-3]

个基本支持向量加入到支持向量集合中在控制计

算复杂度的前提下取得了良好的效果

等^[19]

在假设后增加支持向量不影响当前支持向量的前提

下构造了一个增量式稀疏化算法从空

最小二乘支持向量机

[4]

作为

中的罚函数替换为二次函数

并将约束条件转化为等式约束使得的解

可以通过求解一个线性系统来得到简化了求解过

程实验表明在实际应用中具有和

相类似的泛化能力因此在很多领域取得广泛的应

的一种主

要变形通过将

集开始每一次都将剩余数据点中使得目标函数增

长最少的点作为支持向量加入支持向量集中

等^[20]利用迭代方法在尽量保持信息不损失的情况

下交替使用增加和减少支持向量数量的方法达

等^[21]在文献

用^[5]但是随着训练集数据量的增加

的

到对

的稀疏化的目标

弱点也越来越突出地表现出来由于

的基础上考虑到支持向量集变化对非支持向量

支持向量几乎包含了全部训练集的数据随着数据

量的增加计算用时也会大量增加从而限制了

的影响通过重新计算剩余数据点对目标函数下降

的贡献选择其中使得目标函数下降最大的数据点

进入支持向量集除了传统稀疏化方法以外数据

的进一步应用因此对

量数量的消减继续保持

进行支持向

的稀疏性特征是

压缩传感理论也被应用到了

等^[22]提出了使用正交匹配追踪算法对训练数

据集进行压缩从而实现的稀疏化

的稀疏化上

适应新的要求必须要研究的问题^[6-8]

在

稀疏化的研究中基于迭代过程形

的支持向量集是目前研究的主要

成稀疏

等^[23]在上述研究的基础上用非随机矩阵代替原

有的随机高斯矩阵进一步提高了算法的效率从

目前的研究来看基于迭代的算法依然是主要研究

的方向但是存在计算复杂性较高在数据量大的

时候其表现不能满足实际要求的情况综上所述

的稀疏化是从原来几乎包含所有训练数据

思路可以分为删除式稀疏化方法和增量式稀疏化

等^[6]首先利用删除式稀疏

方法

年

化方法对

进行稀疏化在稀疏化过程中

每一步将支持向量集中最靠近当前决策超平面的若

干个支持向量进行消减但是由于每次都要根据当

前支持向量集进行求解线性系统因此在数据量较

大的时候其计算复杂性会非常高随后

点的支持向量集中选择若干数据点并通过计算使

得基于选择数据点的决策超平面具有类似于未稀疏

等^[7]在支持向量的选择中不仅考虑了

模型

化

的泛化能力因此

的稀疏化

的最优化同时考虑了泛化能力在文献

中选择

可以看作是数据点抽取并求解近似决策超平面的过

程基于数据点抽取的思路在本文中我们给出了一

被消减支持向量的准则变为寻找并消减具有最小偏

差的点进一步提高了消减后的准确性

种非迭代的

稀疏化方法

等^[9]在文献

疏化算法并改进了原算法的性能文献

最小优化求解算法基础上在每一步迭代

中将影响对偶目标函数值最小的数据点进行消减

的基础上提出了一种轻量级变种稀

在序列

在本文中我们首先给出了基于支持向量数

量约束的

稀疏化优化模型在此基础

上提出基于数据特征空间全局代表性的支持向

量集非迭代选择策略并提出了基于全局代表点的

稀疏化算法

从而达到稀疏化的目标

等^[11]给出了一

个两阶段消减算法在已知

决策超平面的

前提下利用碎片化指标度量每个支持向量的可消

减性进而进行稀疏化

等^[12]使用

基于熵核频带宽度选择策略和快速交叉验证方法

进行消减

等^[13]利用过

该算法的主要思路是首先计算特征空间

中数据点之间的距离在此基础上计算每个数据点

的全局代表性然后按照给定的稀疏化后

对

支持向量集的数量约束一次性选择最具代表性的

数据点并构成稀疏化后的支持向量集最后在该支

决定线性系统的稀疏共轭方向寻踪稀疏化方法来对

进行支持向量集的消减并取得了良好的效

等^[14]在文献

持向量集的基础上求得稀疏化后的

策超平面实验表明

的决

果

对

范式进行迭代优

具有稀疏度高、

化的基础上将分类

统一在一个稀疏化算法中

在引入适应性

和回归

等^[16]

都

等^[17]

稳定性好、计算复杂度低等优点

本文下文组织如下首先对

和

的相关

的基础上用进化算法

的稀疏化增量式稀疏

的研究也出现了许多成果

等^[18]

模型进行回顾和总结其次给出基于全局代表性的

稀疏化算法然后给出相关算法的实验结果并对

结果进行分析最后对本文加以总结并进一步提

出工作的方向

对其求解以实现

化

在建立基于核的支持向量词典基础上每次都将一

全部评论(0)

暂无评论

评论赚积分>>

上传资源上传优质资源有赏金

一种基于全局代表点的快速最小二乘支持向量机稀疏化算法

资料介绍

部分文件列表

部分页面预览

相关下载

全部评论(0)

热门标签

最新上传

热门下载

推荐下载

专栏首页