推荐星级：
- 1
- 2
- 3
- 4
- 5
一种结合深度学习和集成学习的情感分析模型
资料介绍
随着社交媒体的不断发展,用户评价已成为网络决策的关键因素.为了准确分析社交媒体用户评价的情感倾向性,更好地推进舆情分析、推荐算法等工作,本文通过对Bi-LSTM模型和Bagging算法的改进,提出了一种新的情感分析模型—Bi-LSTMM-B模型.该模型的特点在于将深度学习模型可提取抽象特征的优势和集成学习多分类器共同决策的思想相结合.一方面在Bi-LSTM模型的基础上引入Maxout神经元,构建Bi-LSTMM模型,解决随机梯度下降算法中存在的梯度弥散问题,更好地优化训练过程.另一方面,模型基于Bagging算法训练多个情感分类器,根据分类器性能优劣利用袋外数据为每个分类器分配指定类别的权重,并提出相应的改进投票策略,增强了模型的泛化能力.实验结果表明:本文提出的Bi-LSTMM-B模型相比于传统的LSTM模型准确率提高12.08%,其中Maxout神经元的引入对情感分析准确率有8.28%的相对改善效果,改进后的投票策略对准确率有4.06%的相对改善效果,并在召回率和F值两项指标上均优于其他对比模型.由此证明,深度学习模型和集成学习思想相结合可提高情感分析的准确率,并具有一定的研究价值.
部分文件列表
| 文件名 | 大小 |
| 1577689207一种结合深度学习和集成学习的情感分析模型.pdf | 2M |
部分页面预览
（完整内容请下载后查看）Vol. 50 No. 11
Nov． 2018
50
11
期
第
卷
第
哈
尔
滨
工
业
大
学
学
报
2 0 1 8
11
月
年
JOURNAL OF HARBIN INSTITUTE OF TECHNOLOGY
j．issn．
DOI: 10．11918/
0367-6234．201709078
一种结合深度学习和集成学习的情感分析模型
， ，
金志刚 韩 玥 朱 琦
(
，
天津大学 电气自动化与信息工程学院 天津
300072)
: ， ． ，
要 随着社交媒体的不断发展 用户评价已成为网络决策的关键因素 为了准确分析社交媒体用户评价的情感倾向性 更
摘
－
、
，
Bi LSTM
Bagging
，
—
好地推进舆情分析 推荐算法等工作 本文通过对
模型和
－
模型 该模型的特点在于将深度学习模型可提取抽象特征的优势和集成学习多分类器共同决策的思想相结合
算法的改进 提出了一种新的情感分析模型
－
Bi LSTMM B
．
．
－
Bi LSTM
－
Bi LSTMM
Maxout
，
神经元 构建
，
模型 解决随机梯度下降算法中存在的梯度弥散问题
，
一方面在
模型的基础上引入
． ，
更好地优化训练过程 另一方面 模型基于
Bagging
，
算法训练多个情感分类器 根据分类器性能优劣利用袋外数据为每个分类
－
Bi LSTMM B
器分配指定类别的权重 并提出相应的改进投票策略 增强了模型的泛化能力 实验结果表明 本文提出的
－
，
，
．
:
模型
LSTM
12．08%，
其中
Maxout
8．28% ，
的相对改善效果 改进后
相比于传统的
的投票策略对准确率有
和集成学习思想相结合可提高情感分析的准确率 并具有一定的研究价值
模型准确率提高
神经元的引入对情感分析准确率有
4．06%
，
F
．
，
的相对改善效果 并在召回率和 值两项指标上均优于其他对比模型 由此证明 深度学习模型
，
．
－
; Bi LSTM
: ; ;
关键词 情感倾向性分析 深度学习 集成学习
; Maxout
; Bagging
神经元 算法
模型
－
－
－
: 0367 6234( 2018) 11 0032 08
文章编号
: TP391 : A
文献标志码
中图分类号
A sentiment analysis model with the combination of deep learning
and ensemble learning
JIN Zhigang，HAN Yue，ZHU Qi
( School of Electrical and Information Engineering，Tianjin University，Tianjin 300072，China)
Abstract: With the development of social media，users’evaluations have become a key factor in network decision
－
making． Owing to the necessity of making a more accurate analysis on the emotional tendency of social media
users’evaluations as well as promoting public opinion analysis and recommendation algorithms，a sentiment
－ － －
analysis model called Bi LSTMM B ( Bi directional Long Short Term Memory Model with Maxout neurons in
Bagging algorithm) is proposed． With the feature of combining deep learning model and the idea of ensemble
－ －
learning，the model improves the Bi LSTM model and the Bagging algorithm． On the one hand，the Bi LSTMM
－
model introduces the Maxout neural into the Bi LSTM model to solve the vanishing gradient problem during the
stochastic gradient descent training and optimize the training process． On the other hand，multiple emotional
classifiers were trained at the foundation of the Bagging algorithm． The out of bag data assigns the weight for each
classifier on specified category according to their performance． Hence the voting strategy is improved to enhance the
－
－
generalization ability of the model． The experimental results indicate that the accuracy of the Bi LSTMM B model
is improved by 12．08% compared to the traditional LSTM model． It is also superior to other contrast models in the
recall rate and F value． Therein，the introduction of Maxout neurons has a relative improvement effect of 8．28% on
the accuracy of sentiment analysis，while the improved voting strategy accounts for 4．06% on the accuracy． Thus，it
proves that combining deep learning and ensemble learning contributes to the improvement of the accuracy of
sentiment analysis，which shows some value in research．
－
Keywords: sentiment analysis; deep learning; ensemble learning; Bi LSTM model; Maxout neural; Bagging
algorithm
， ，
近年来 随着互联网技术的快速发展 各种各样
，
息载体 用户评价已成为人们进行网络决策时考虑
，
的社交媒体不断涌现 越来越多的用户通过社交媒
． ， ，
的重要因素 情感倾向性分析 又称主客观分析 以
．
体平台表达自己的观点和想法 作为一种重要的信
，
挖掘文本信息中用户表达的情感极性为目标 其概
［1］
Nasukawa
． ，
提出 近年来 针对社交媒体
念最早由
－ －
: 2017 09 14
收稿日期
用户评价的情感倾向性分析已成为自然语言处理领
:
基金项目 国家自然科学基金项目
( 71502125)
， ．
域研究的热点问题之一 具有重要的研究价值 因
:
作者简介 金志刚
( 1972—) ， ， ，
男 教授 博士生导师
:
，zoomzq@ 163．com
琦
通信作者
朱
，
此 本文的研究目的是提出一种文本情感倾向性分
11
， :
等 一种结合深度学习和集成学习的情感分析模型
第
期
金志刚
·33·
， 、 、
析模型 为提高推荐算法 用户信誉评价 舆论分析
， ．
的网络模型 已成为深度学习研究的重点之一 在
．
RNNs LSTM
基础上提出的
等结果提供良好的模型基础
，
随着深度学习的不断发展 以神经网络为代表
模型利用其循环神经元
． Graves
，
的线性连接 解决了时间上的梯度弥散问题
［9］
．
的深度学习模型逐渐成为情感分析的主要模型 但
LSTM
， 2013
的系统 完成了 年电话号码的
等
基于
［10］
－
Bi LSTM
模型在
，
随着神经网络深度的增加 随机梯度下降算法在训
． Yao
识别任务
等
进一步分析
［11］
－
Bi LSTM
－
Bi LSTM
练中会存在梯度弥散的问题 为此 本文在
． Chiu
CNN
．
，
中文分词中的作用
等
将
和
－
Bi LSTMM
神经元 构建 模
， ． ，LSTM
相结合 并证明该模型的良好表现 但是 模
Maxout
，
模型基础上引入
．
型在空间上仍存在梯度弥散的问题 为解决这个问
，
型 以解决该问题
．
［12］
，Goodfellow
Maxout
，
同时 将训练好的模型能具有一定适应性地应
题
等
将
神经元引入到机器学
．
习任务中 该神经元通过选取一组线性单元中的最
， ，
用到测试平台上 提高实际计算和预测的准确度 是
， 、
大值来实现它的非线性化 在语音识别 数据分类任
，
模型具有实际效用的体现 因此泛化能力一直是机
［13］
． Cai
Maxout
．
器学习所关注的另一个重要问题 为了提高模型的
务中均取得不错的效果
CNN LSTM
将
神经元分
CMNN
和
，
，
泛化能力 本文充分利用随机采样类别样本的差异
别与
RMNN ， ．
模型 并应用到语音识别领域
和
模 型 相 结 合 构 建
，
性 在传统
Bagging
算法的基础上对其投票策略进
，
同时 集成学习具有较强的泛化能力和先天的
．
行改进
， ．
并行性 有利于提升分类的可靠性和效率 在集成
，
通 过 以 上 两 个 部 分 的 改 进 本 文 构 建 了
－ －
Bi LSTMM B
，
学习传统的投票策略中 认为每个基分类器都拥有
，
情感分析模型 可得出该模型有助于
，
相同的决定权 实际上每个基分类器的分类性能有
．
提升情感分析准确率的结论
， ，
一定差异 在为分类器赋权的过程中 如果分类器的
1
相关工作
，
权重相差悬殊 又会造成投票结果过分依赖分类性
，
能好的分类器 与集成学习多个分类器共同决策的
， 、
在情感倾向性分析任务中 通常有基于词典 基
． ，
思想相违背 因此在为基分类器赋权时 应遵循分
．
于机器学习和基于深度学习的三种方法 基于情感
、
类性能好的分类器权重高 各分类器权重差距不能
．
词典的方法是一种典型的无监督学习 早期
Kim
［2］
．
悬殊的原则
，
使用已有的情感词典 通过文本中情感词汇得
等
，
针对上述需求 首先将
Maxout
神经元引入到
．
分加和的方式来判断文本的情感极性 该类方法对
－
Bi LSTM
－
Bi LSTMM
，
模型中 构建
;
模型 其次将集成
， ，
词典的要求很高 但互联网新词层出不穷 情感词典
Bagging
，
算法进行改进 结合提出的
学习中经典的
， ．
更新较慢 使分类性能大打折扣 基于机器学习模
－
Bi LSTMM
－ －
Bi LSTMM B
情感倾向性分
，
模型 构建
型的有监督学习是情感倾向性分析的另一种重要方
［3］
;
析模型 最后将该模型应用于豆瓣影评的情感倾向
． Pang
式
等
第一次提出使用有监督的机器学习模
， 、
性分析中 为商品推荐 用户决策提供良好的理论基
， 、
型进行情感分析 并使用朴素贝叶斯 支持向量机和
［4］
，
础 具有创新性和实用性
．
． Wan
最大熵三种分类算法进行尝试
等
提出基于
KNN
，
和支持向量机的文本分类方法 提高了分类的
－
2 Bi LSTMM
模型
［5］
－
N gram
模型对文本进行建
，Wang
精确率
等
利用
－ －
Bi LSTMM( Bi directional Long Short Term
提出
，
模 并采用朴素贝叶斯和支持向量机相结合的方法
Memory with Maxout neurons)
LSTM
模型是由传统的
．
实现对文本的分类 但有监督的机器学习方法需要
．
模型扩展而来 本文借鉴两个独立
LSTM
模型联合
大量人工标注的训练语料来提高模型的学习能力和
－
， Bi LSTMM
神经元 构建基于
，
的思想 引入
Maxout
，
泛化能力 这在实际应用中受到阻碍
．
．
模型的文本分类模型
近年来兴起的深度学习方法较好地弥补了上述
－
2．1 Bi LSTM
模型
，
方法的缺陷 在图像和语音识别中取得了巨大的成
［6］
［7］
LSTM
RNN，
其记忆
是一种引入记忆单元的特殊
1． LSTM
，
功 并逐步应用到自然语言处理中
． Kim
等
使
单元结构见图
模型可看作一种权值共享的
CNN
，
对短文本进行建模 完成句子级别的文本情
用
［8］
，
深度神经网络 利用门信号的线性循环连接来解决时
． ZHANG Xiang
感分类任务
CNN
等
提出基于字符级别
，
间层面的梯度弥散问题 进而学习长期的依赖关系
．
， ．
模型 并用于文本情感分类
的
f ，
除了 外 模型还有控制输入输出信息的输入
t
，
但随着神经网络深度的增加 在模型训练过程
i
o ．
t
x
y t
分别是 时刻模型
t
门
和输出门
如果令
和
， 、 ．
中也出现了很多问题 如过拟合 梯度弥散等 如何
t
t
，c
m
分别是神经单元的激活值
t
的输入输出信息
和
，
优化深度神经网络的训练过程 从而得到更高性能
t
更多>>
最新上传
- 打赏
- 30日榜单
-
21ic小能手 打赏10.00元 6小时前
-
21ic小能手 打赏20.00元 7小时前
-
21ic小能手 打赏20.00元 7小时前
-
注册1 打赏0.01元 1天前
-
注册1 打赏0.01元 1天前
用户：xlhtracy
-
注册1 打赏0.01元 1天前
用户：xlhtracy
-
注册1 打赏0.01元 1天前
用户：xlhtracy
-
注册1 打赏0.01元 1天前
用户：xlhtracy
-
注册1 打赏0.01元 1天前
用户：xlhtracy
-
注册1 打赏0.01元 1天前
用户：xlhtracy
-
注册1 打赏0.01元 1天前
用户：xlhtracy
-
注册1 打赏0.01元 1天前
用户：xlhtracy
-
注册1 打赏0.05元 1天前
用户：xlhtracy
-
注册1 打赏0.01元 1天前
用户：xlhtracy
-
注册1 打赏0.01元 1天前
-
注册1 打赏0.01元 1天前
用户：21ic下载
-
注册1 打赏0.01元 1天前
用户：21ic下载
-
21ic小能手 打赏0.03元 1天前
用户：21ic下载
-
21ic小能手 打赏0.01元 1天前
用户：21ic下载
-
21ic小能手 打赏0.01元 1天前
用户：21ic下载
-
21ic小能手 打赏0.02元 1天前
全部评论(0)