积分商城

最新搜索： ide手册 WINCE 传感器 拼音输入 STM32CubeMX vee使用
您现在的位置是：首页 > 技术资料 > 一种基于全局代表点的快速最小二乘支持向量机稀疏化算法
推荐星级：
  • 1
  • 2
  • 3
  • 4
  • 5

一种基于全局代表点的快速最小二乘支持向量机稀疏化算法

更新时间：2019-12-25 15:07:08 大小：905K 上传用户：zhiyao6查看TA发布的资源 标签：最小二乘支持向量机 下载积分：1分 评价赚积分 （如何评价?） 打赏 收藏 评论(0) 举报

资料介绍

非稀疏性是最小二乘支持向量机(Least squares support vector machine,LS-SVM)的主要不足,因此稀疏化是LS-SVM研究的重要内容.在目前LS-SVM稀疏化研究中,多数算法采用的是基于迭代选择的稀疏化策略,但是时间复杂度和稀疏化效果还不够理想.为了进一步改进LS-SVM稀疏化方法的性能,文中提出了一种基于全局代表点选择的快速LS-SVM稀疏化算法(Global-representation-based sparse least squares support vector machine,GRS-LSSVM).在综合考虑数据局部密度和全局离散度的基础上,给出了数据全局代表性指标来评估每个数据的全局代表性.利用该指标,在全部数据中,一次性地选择出其中最具有全局代表性的数据并构成稀疏化后的支持向量集,然后在此基础上求解决策超平面,是该算法的基本思路.该算法对LS-SVM的非迭代稀疏化研究进行了有益的探索.通过与传统的迭代稀疏化方法进行比较,实验表明GRS-LSSVM具有稀疏度高、稳定性好、计算复杂度低的优点.


部分文件列表

文件名 大小
一种基于全局代表点的快速最小二乘支持向量机稀疏化算法.pdf 905K

【关注B站账户领20积分】

部分页面预览

（完整内容请下载后查看）
第 43 卷 第 1 期  
2017 年 1 月  
自
动
化
学
报
Vol. 43, No. 1  
January, 2017  
ACTA AUTOMATICA SINICA  
一种基于全局代表点的快速最小二乘支持向量机  
稀疏化算法  
马跃峰 1  
梁 循 1  
周小平 1  
摘
要
非稀疏性是最小二乘支持向量机 (Least squares support vector machine, LS-SVM) 的主要不足, 因此稀疏化是  
LS-SVM 研究的重要内容. 在目前 LS-SVM 稀疏化研究中, 多数算法采用的是基于迭代选择的稀疏化策略, 但是时间复杂度和  
稀疏化效果还不够理想. 为了进一步改进 LS-SVM 稀疏化方法的性能, 文中提出了一种基于全局代表点选择的快速 LS-SVM  
稀疏化算法 (Global-representation-based sparse least squares support vector machine, GRS-LSSVM). 在综合考虑数据局  
部密度和全局离散度的基础上, 给出了数据全局代表性指标来评估每个数据的全局代表性. 利用该指标, 在全部数据中, 一  
次性地选择出其中最具有全局代表性的数据并构成稀疏化后的支持向量集, 然后在此基础上求解决策超平面, 是该算法的  
基本思路. 该算法对 LS-SVM 的非迭代稀疏化研究进行了有益的探索. 通过与传统的迭代稀疏化方法进行比较, 实验表明  
GRS-LSSVM 具有稀疏度高、稳定性好、计算复杂度低的优点.  
关键词 最小二乘支持向量机, 稀疏化, 全局代表点, 局部密度, 全局离散度  
引用格式 马跃峰, 梁循, 周小平. 一种基于全局代表点的快速最小二乘支持向量机稀疏化算法. 自动化学报, 2017, 43(1):  
132-141  
DOI 10.16383/j.aas.2017.c150720  
A Fast Sparse Algorithm for Least Squares Support Vector Machine Based on  
Global Representative Points  
MA Yue-Feng1  
LIANG Xun1  
ZHOU Xiao-Ping1  
Abstract For lack of sparseness on least squares support vector machine (LS-SVM), the study on sparsity of LS-SVM  
is an important topic. Currently, most of the sparse LS-SVM methods are based on the iteration selection strategy.  
Consequently, they do not perform well in computation complexity and sparsity. To improve the performance of sparse  
LS-SVM method, a fast method, global-representation-based sparse least squares support vector machine (GRS-LSSVM),  
is proposed based on the selection of global representative points in this paper. To evaluate datum′s representation, an  
index is given based on local density and global discrete degree. In the algorithm, firstly, the top global representative  
data are selected from all data in one step using the index to construct the support vector set of sparse LS-SVM, and  
then the set is used to compute the decision hyperplane of sparse LS-SVM. This algorithm explores the non-iteration on  
sparse LS-SVM. Experimental results show that the proposed method has higher sparseness degree, more stability, and  
lower computational complexity than the traditional iteration algorithms.  
Key words Least squares support vector machine (LS-SVM), sparseness, global representative point, local density,  
global discrete degree  
Citation Ma Yue-Feng, Liang Xun, Zhou Xiao-Ping. A fast sparse algorithm for least squares support vector machine  
based on global representative points. Acta Automatica Sinica, 2017, 43(1): 132-141  
分类问题是机器学习的一个主要领域 其目标  
收稿日期 2015-11-05 录用日期 2016-05-23  
是通过对于给定数据集的学习 获得能够对未来数  
据进行有效分类的分类器[1] 基于不同的构造思  
路 已经有很多分类学习方法得到了深入的研究和  
广泛的应用 如贝叶斯方法、决策树方法、神经网  
络等 其中 支持向量机  
Manuscript received November 5, 2015; accepted May 23, 2016  
国家自然科学基金 (71531012, 71271211), 北京市自然科学基金  
(4132067), 中国人民大学品牌计划 (10XNI029), 京东商城电子商  
务研究项目 (413313012) 资助  
Supported by National Natural Science Foundation of China  
(71531012, 71271211), Natural Science Foundation of Beijing  
(4132067), Brand Project of Renmin University (10XNI029), E-  
[2]  
commerce Research Project of Jingdong Mall (413313012)  
本文责任编委 辛景民  
Recommended by Associate Editor XIN Jing-Min  
作为其中比较好的分类方法 得到了广泛  
的关注和应用  
将数据空间的数据通过映射到  
1. 中国人民大学信息学院 北京 100872  
1. School of Information, Renmin University of China, Beijing  
100872  
高维的特征空间 并在特征空间里面利用超平面作  
为决策平面 因此具有了稀疏性、效率高、准确性高  
1 期  
马跃峰等: 一种基于全局代表点的快速最小二乘支持向量机稀疏化算法  
133  
等特点[1-3]  
个基本支持向量加入到支持向量集合中 在控制计  
算复杂度的前提下取得了良好的效果  
等[19]  
在假设后增加支持向量不影响当前支持向量的前提  
下 构造了一个增量式 稀疏化算法 从空  
最小二乘支持向量机  
[4]  
作为  
中的罚函数替换为二次函数  
并将约束条件转化为等式约束 使得 的解  
可以通过求解一个线性系统来得到 简化了求解过  
程 实验表明 在实际应用中具有和  
相类似的泛化能力 因此在很多领域取得广泛的应  
的一种主  
要变形 通过将  
集开始 每一次都将剩余数据点中使得目标函数增  
长最少的点作为支持向量加入支持向量集中  
等[20] 利用迭代方法 在尽量保持信息不损失的情况  
下 交替使用增加和减少支持向量数量的方法 达  
等[21] 在文献  
用[5] 但是 随着训练集数据量的增加  
的
的
到对  
的稀疏化的目标  
弱点也越来越突出地表现出来 由于  
的基础上考虑到支持向量集变化对非支持向量  
支持向量几乎包含了全部训练集的数据 随着数据  
量的增加 计算用时也会大量增加 从而限制了  
的影响 通过重新计算剩余数据点对目标函数下降  
的贡献 选择其中使得目标函数下降最大的数据点  
进入支持向量集 除了传统稀疏化方法以外 数据  
的进一步应用 因此 对  
量数量的消减 继续保持  
进行支持向  
的稀疏性特征 是  
压缩传感理论也被应用到了  
等[22] 提出了使用正交匹配追踪算法对训练数  
据集进行压缩 从而实现 的稀疏化  
的稀疏化上  
适应新的要求必须要研究的问题[6-8]  
在
稀疏化的研究中 基于迭代过程形  
的支持向量集是目前研究的主要  
成稀疏  
等[23] 在上述研究的基础上 用非随机矩阵代替原  
有的随机高斯矩阵 进一步提高了算法的效率 从  
目前的研究来看 基于迭代的算法依然是主要研究  
的方向 但是存在计算复杂性较高 在数据量大的  
时候 其表现不能满足实际要求的情况 综上所述  
的稀疏化是从原来几乎包含所有训练数据  
思路 可以分为删除式稀疏化方法和增量式稀疏化  
等[6] 首先利用删除式稀疏  
方法  
年
化方法对  
进行稀疏化 在稀疏化过程中  
每一步将支持向量集中最靠近当前决策超平面的若  
干个支持向量进行消减 但是由于每次都要根据当  
前支持向量集进行求解线性系统 因此 在数据量较  
大的时候 其计算复杂性会非常高 随后  
点的支持向量集中选择若干数据点 并通过计算使  
得基于选择数据点的决策超平面具有类似于未稀疏  
等[7] 在支持向量的选择中不仅考虑了  
模型  
化
的泛化能力 因此  
的稀疏化  
的最优化 同时考虑了泛化能力 在文献  
中 选择  
可以看作是数据点抽取并求解近似决策超平面的过  
程 基于数据点抽取的思路 在本文中我们给出了一  
被消减支持向量的准则变为寻找并消减具有最小偏  
差的点 进一步提高了消减后的准确性  
种非迭代的  
稀疏化方法  
等[9] 在文献  
疏化算法并改进了原算法的性能 文献  
最小优化求解 算法基础上 在每一步迭代  
中 将影响对偶目标函数值最小的数据点进行消减  
的基础上提出了一种轻量级变种稀  
在序列  
在本文中 我们首先给出了基于支持向量数  
量约束的  
稀疏化优化模型 在此基础  
上 提出基于数据特征空间全局代表性的支持向  
量集非迭代选择策略 并提出了基于全局代表点的  
稀疏化算法  
从而达到稀疏化的目标  
等[11] 给出了一  
个两阶段消减算法 在已知  
决策超平面的  
前提下 利用碎片化指标度量每个支持向量的可消  
减性 进而进行稀疏化  
等[12] 使用  
基于熵核频带宽度选择策略和快速交叉验证方法  
进行消减  
等[13] 利用过  
该算法的主要思路是 首先计算特征空间  
中数据点之间的距离 在此基础上计算每个数据点  
的全局代表性 然后按照给定的稀疏化后  
对
支持向量集的数量约束 一次性选择最具代表性的  
数据点并构成稀疏化后的支持向量集 最后在该支  
决定线性系统的稀疏共轭方向寻踪稀疏化方法来对  
进行支持向量集的消减并取得了良好的效  
等[14] 在文献  
持向量集的基础上 求得稀疏化后的  
策超平面 实验表明  
的决  
果
对
范式进行迭代优  
具有稀疏度高、  
0
化的基础上 将分类  
统一在一个稀疏化算法中  
在引入适应性  
和回归  
等[16]  
都
等[17]  
稳定性好、计算复杂度低等优点  
本文下文组织如下 首先 对  
和
的相关  
的基础上 用进化算法  
的稀疏化 增量式稀疏  
的研究也出现了许多成果  
等[18]  
模型进行回顾和总结 其次 给出基于全局代表性的  
稀疏化算法 然后 给出相关算法的实验结果 并对  
结果进行分析 最后 对本文加以总结 并进一步提  
出工作的方向  
对其求解以实现  
化
在建立基于核的支持向量词典基础上 每次都将一  

相关下载

全部评论(0)

暂无评论
评论赚积分>>

上传资源 上传优质资源有赏金

热门标签

更多>>

最新上传

  • 打赏
  • 30日榜单

热门下载

资料专题

推荐下载

本站上的所有资源均为源于网上收集或者由用户自行上传，仅供学习和研究使用，无任何商业目的，版权归原作如有侵权，请 来信指出，本站将立即改正。

ICP许可证号：京ICP证070360号     21IC电子网 2000- 版权所有

京ICP备11013301号

京公网安备 11010802024343号