推荐星级：
- 1
- 2
- 3
- 4
- 5
基于稀疏贝叶斯的流形学习
资料介绍
针对当前监督学习算法在流形数据集上分类性能的缺陷,如分类精度低且稀疏性有限,本文在稀疏贝叶斯方法和流行正则化框架的基础上,提出一种稀疏流形学习算法(Manifold Learning Based on Sparse Bayesian Approach,MLSBA).该算法是对稀疏贝叶斯模型的扩展,通过在模型的权值上定义稀疏流形先验,有效利用了样本数据的流形信息,提高了算法的分类准确率.在多种数据集上进行实验,结果表明:MLSBA不仅在流形数据集上取得良好的分类性能,而且在非流形数据集上效果也比较好;同时算法在两类数据集上均具有良好的稀疏性能.
部分文件列表
| 文件名 | 大小 |
| 基于稀疏贝叶斯的流形学习.pdf | 1M |
部分页面预览
（完整内容请下载后查看）1
Vol． 46 No． 1
Jan． 2018
第
期
电
子
学
报
2018
1
ACTA ELECTRONICA SINICA
年
月
基于稀疏贝叶斯的流形学习
， ， ，
陈兵飞 江兵兵 周熙人 陈欢欢
(
，
中国科学技术大学计算机科学与技术学院 安徽合肥
230027)
:
， ，
针对当前监督学习算法在流形数据集上分类性能的缺陷 如分类精度低且稀疏性有限 本文在稀疏贝
摘
要
，
叶斯方法和流行正则化框架的基础上 提出一种稀疏流形学习算法
( Manifold Learning Based on Sparse Bayesian Ap-
proach，MLSBA) ．
， ，
该算法是对稀疏贝叶斯模型的扩展 通过在模型的权值上定义稀疏流形先验 有效利用了样本数据
， ． ，
的流形信息 提高了算法的分类准确率 在多种数据集上进行实验 结果表明
: MLSBA
不仅在流形数据集上取得良好
， ;
的分类性能 而且在非流形数据集上效果也比较好 同时算法在两类数据集上均具有良好的稀疏性能
．
:
;
;
;
关键词
中图分类号
URL: http: / /www． ejournal． org． cn
拉普拉斯 稀疏贝叶斯 稀疏流形先验 流形正则化
:
TP391
:
A
:
文章编号
0372-2112 ( 2018) 01-0098-06
文献标识码
DOI: 10． 3969 /j． issn． 0372-2112． 2018． 01． 014
电子学报
Manifold Learning Based on Sparse Bayesian Approach
CHEN Bing-fei，JIANG Bing-bing，ZHOU Xi-ren，CHEN Huan-huan
( School of Computer Science and Technology，University of Science and Technology of China，Hefei，Anhui 230027，China)
Abstract: Aiming at the classification performance deficiencies of current supervised learning algorithms on manifold
data sets，e． g． low classification accuracy and limited sparsity，a sparse manifold learning algorithm based on sparse Bayesian
inference and manifold regularization framework is proposed． The algorithm is called manifold learning based on sparse
Bayesian approach ( MLSBA) ． MLSBA is an extension of sparse Bayesian model，by introducing sparse manifold priors to
the weights，which can effectively employ the manifold information of sample data to improve the classification accuracy．
Extensive experiments are conducted on various datasets，and the results show that MLSBA not only achieves better classifi-
cation performance on manifold datasets，but also has comparable effectiveness on the non-manifold datasets，and our algo-
rithm has good sparsity on two categories of datasets at the same time．
Key words: Laplacian; sparse Bayesian; sparse manifold prior; manifold regularization
［2］
，
如式
( 1)
:
所示
合
1
引言
N
f( x; w) =
w
( x) + w
=
( x) w
( 1)
是模型的权值
是模型的核函数矩
φ
Φ
d
∑
i
i
0
，
在监督学习中 对于给定的样本数据
x
R ，
∈ 希望
i = 1
T
w
，w =［w ，w ，…，w ］
是偏移动
其中
f( x;
得到一个可以对样本进行分类或者回归的函数
0
0
1
N
T
w) ．
f( x; w) ，
首先需要给定一个训练数据集
T
， ( x) =［ ( x) ，…， ( x) ］
向量 Φ φ
N
为了得到
φ
1
T
= { ( x ，y ) ，…，( x ，y ) } (
N
d
其中输入是一个 维向量
，
．
阵 φ
( x) =［1，k( x ，x ) ，…，k( x ，x ) ］
表示由核函数
N
1
1
N
i
1
i
i
d
［3］
x =［x ，…，x ］ R ， y
∈
id
R
，
时 对应的是回归问题
;
当 ∈
i
(
组成的基向量 基函数
)
．
、
目前核函数有线性核 高斯
i
i1
y
{ － 1，1}
， ) ;
时 表示研究的是二分类问题 然后在
当
∈
、 、 ，
核 拉普拉斯核 样条核等多种类型 本文使用高斯核
:
i
2
f( x; w) ;
训练数据集上学习得到
据服从同样分布的测试数据上对
最后在假定与训练数
f( x; w)
的分类性能进
k( x ，x ) = exp{ －
i
x － x
i
}
‖
2
( 2)
θ ‖
j
j
·
其中‖ ‖ 表示
2
L
， ，
范数 θ 是控制核函数的参数 可
2
．
行评估
，
近年来 基于核方法的机器学习模型引起广泛的
通过交叉验证给出或最大化后验的方法对其进行优
［1］
．
，
，
化
通常情况下 核参数 θ 都会预先给出 此时学习目
f( ·)
转变为根据已有的训
［1］
，
w
该模型是权值向量 与核函数 Φ
( x)
关注
的线性组
标由寻找最优的分类函数
: 2016-04-08;
: 2016-09-14; :
责任编辑 孙瑶
收稿日期
修回日期
:
基金项目 国家自然科学基金
( No． 91546116，No． 61673363，No． 61511130083)
99
1
:
陈兵飞 基于稀疏贝叶斯的流形学习
第
期
T，
练数据集 估计合适的模型权值参数
w．
，
稀疏性能 这种稀疏性降低了测试阶段的计算复杂度
;
目前基于核
( Support Vector
，
③通过定义新的先验分布 将样本数据所具有的流形
函数的稀疏学习算法包括支持向量机
［4］
Machines，SVM)
、
( Relevance Vector Ma-
，
信息作为先验知识引入到模型中 能够对分类函数进
相关向量机
［3］
chines，RVM)
( Probabilistic Classi-
，
行约束 从而提升了算法在流形数据集上的分类性能
．
和概率分类向量机
［1］
fication Vector Machines，PCVM) ． SVM
通过核函数的
2
稀疏贝叶斯流形学习
，RVM
PCVM
基于稀疏贝叶
映射得到模型的最优解
和
2． 1
模型描述
， w ，
斯框架 在 上引入高斯先验 获得模型的稀疏解和概
［1，5］
，
在二分类问题中 输入的数据集为
T = { ( x ，y ) ，
1
．
率输出
1
…，( x ，y ) } ，
其中标记
N
y
{ － 1，1} ．
T
对 进行分类
∈
i
SVM
使用统计学习理论中的结构风险最小化原则
N
，
，
时 模型需要使用一个连接函数 该函数可以将输出的
{ － 1，1} RVM
分类
．
来处理二分类问题 它将样本数据投影到高维线性可
，
，
分空间 构造具有较低
VC
结果映射到二值变量
中 本文参考
维的最优分类超平面作为判
［6］
，
模型 采用
Sigmoid
，
激活函数 表达式为
:
，
别面 使得可分的两类样本的空间间隔最大
．
虽然
SVM
1
SVM
， ，
被应用在很多领域 且取得良好的效果 但是
( z) =
( 3)
ψ
［1 － 3，7，8］
1 + exp( － z)
， :
例如 ①由于模型的稀
存在着一些明显的不足
Sigmoid
，
函数 下一节的拉普拉斯近似推导将
由于使用
，
疏性有限 支持向量的个数随训练样本的增长呈线性
［10，11］
．
( 1)
，MLS-
的组合
变得更容易
通过激活函数和式
; ，
增长 ②预测的结果是无概率输出 无法度量预测结果
BA
:
分类模型为
;
的不确定性 ③需要通过交叉验证选择合适的惩罚因
p( y = 1 | x，w) =
( ( x) w)
ψ Φ
( 4)
， ;
子 增加了模型的计算时间 ④核函数必须满足
Mercer
［3］
［8］
( x)
其中 Φ
Mercer
条件
．
不需要满足
．
条件
［1］
［3］
，
连接函数确定后 需要确定模型的似然函数
，
分
Tipping
SVM
，
的缺点 在贝叶斯框
等人 通过研究
类模型中经常使用的似然函数有贝努利似然和高斯似
，
( 1)
w
w
引入相互独
i
架的基础上 给式
立的零均值高斯分布 得到比
( RVM) ．
中
的每个分量
，
然 本文选择贝努利似然函数
:
，
SVM
更稀疏且可以产生
N
［1］
Chen
等人 研究发
概率输出的分类模型
随后
ti
1 － ti
p( t | w) =
［1 －
］
ψ
i
( 5)
ψ
∏
i
i = 1
， ，
现 对于类别不同的样本 引入相同的零均值高斯先验
T
t = ( y + 1) /2 { 0，1} ，t =［t ，…，t ］
∈
1
其中
表示目标
i
i
N
． ［1］ y
会造成模型的不稳定 文献 对不同的类别 采用不
i
T
， = ( w ( x) ) ．
值 ψ φ
i
ψ
，
同的截断高斯先验分布 得到了性能更好的贝叶斯分
i
2． 2
稀疏流形先验
RVM
( PCVM) ．
类模型
贝叶斯方法的主要优点是可以有效利
，
为了获得稀疏解 给每一个权值分量
w
分别
i
，
用样本数据的先验知识 但是当假设模型与样本数据
［12］
．
，RVM
只考虑模型
， ．
的实际分布情况不相符时 难以获得较好的性能 研究
定义一个零均值高斯先验
但是
［7］
， ，
的稀疏性 它认为模型总是越稀疏越好 忽略了样本数
，
发现
实际用于学习的一些数据集具有特定的流形
．
据本身具有的流形结构对模型的影响 为了让模型既
． ，
结构 按照流形假设的观点 处于一个很小的局部邻域
，
内的样例具有相似的性质 因此它们的标记也应该相
具有较好的稀疏性能又能有效的利用样本数据的流形
［9］
［7］
．
． RVM
，
结构信息 本文基于
RVM ，
算法与流形正则化理论 在权
似
流形假设反映了决策函数的局部平滑性
，
是一种稀疏贝叶斯分类器 采用独立的零均值高斯先
w
值向量 上定义稀疏流形先验
:
－ ( N + 1) /2
1 /2
， ．
验 主要解决的是模型的稀疏性问题 但该模型的缺点
p( w| ，) = ( 2 )
α λ π
| A + B|
λ
，
是不能有效的利用样本数据所具有的流形信息 因此
1
T
－
w ( A + B) w
λ
* exp
( 6)
{
}
2
．
在流形数据集上难以取得理想的分类效果
T
=［ ， ，…， ］
α
N
w
表示控制权值向量 的超参
其中 α
α
α
本文基于贝叶斯框架和半监督学习中常用的流形
0
1
［13］
，
数向量 它服从
Gamma
． A
矩阵 是由 α 组成的
i
分布
，
正则化理论 提出一种能够有效利用样本数据流形信
，A = diag{ ， ，…， } ．
α α α
N
对角矩阵
λ 是控制模型利用
( MLSBA) ．
息的稀疏流形学习算法
SVM
该方法采用稀疏流
． MLSBA
集成
0
1
，
样本数据流形信息的参数 它也服从
Gamma
，
分布 当 λ
，
形先验 解决了
了传统稀疏贝叶斯分类器的优点 同时能够在流形数
． MLSBA
中存在的一些问题
0 ，
∝ 时 表示模型没有使用样本数据的流形结构信息
，
，
T
RVM
． B =
L (
Φ Φ Φ 为核函
:
具有以下优点 ①它是
算法变成标准的
分类算法
据集上取得良好的性能
( x)
数矩阵 Φ
) ， w ．
的简写 它与 构成流形正则项 因此引
，
基于贝叶斯后验概率的分类器 可以给出概率输出结
B
可以将样本数据的流形信息作为先验知识融入到
， ;
果 能够度量预测结果的不确定性 ②新的学习算法同
入
［14］
．
模型中 式
( 6)
L = C － S
叫做图的拉普拉斯矩阵
，
，
样是稀疏的 因此模型在估计权值向量时具有很好的
中
更多>>
最新上传
- 打赏
- 30日榜单
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
cai0603 打赏3.00元 3天前
用户：CJQ_ENJOY
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
cai0603 打赏3.00元 3天前
用户：dongshao
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic下载 打赏310.00元 3天前
用户：gsy幸运
-
21ic下载 打赏310.00元 3天前
用户：zhengdai
-
21ic下载 打赏310.00元 3天前
用户：小猫做电路
-
21ic下载 打赏310.00元 3天前
用户：liqiang9090
-
21ic下载 打赏270.00元 3天前
用户：kk1957135547
-
21ic下载 打赏160.00元 3天前
用户：w178191520
-
21ic下载 打赏160.00元 3天前
用户：w1966891335
-
21ic下载 打赏50.00元 3天前
用户：w993263495
-
21ic下载 打赏40.00元 3天前
用户：w993263495
-
21ic下载 打赏90.00元 3天前
用户：cooldog123pp
-
21ic下载 打赏30.00元 3天前
用户：sun2152
-
21ic下载 打赏40.00元 3天前
用户：xzxbybd
-
21ic下载 打赏40.00元 3天前
用户：铁蛋锅
-
21ic下载 打赏30.00元 3天前
用户：happypcb
-
21ic下载 打赏50.00元 3天前
用户：forgot
-
21ic下载 打赏10.00元 3天前
用户：xuzhen1
-
21ic下载 打赏20.00元 3天前
用户：wanglu6666
-
21ic下载 打赏5.00元 3天前
用户：人间留客
-
21ic下载 打赏5.00元 3天前
用户：jyxjiyixing
-
21ic下载 打赏5.00元 3天前
用户：akae_du
-
21ic下载 打赏5.00元 3天前
用户：ouyang_56
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
xlhtracy 打赏10.00元 3天前
-
xlhtracy 打赏10.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
xlhtracy 打赏5.00元 3天前
-
czmhcy 打赏1.00元 3天前
资料：bitboy
全部评论(0)