积分商城

最新搜索： ffmc 士兰微 光电二极管 NCK2913 cad200 阻抗计算
您现在的位置是：首页 > 技术资料 > 基于Python的改进关键词提取算法的实现
推荐星级：
  • 1
  • 2
  • 3
  • 4
  • 5

基于Python的改进关键词提取算法的实现

更新时间：2019-12-21 08:54:47 大小：2M 上传用户：songhuahua查看TA发布的资源 标签：python 下载积分：1分 评价赚积分 （如何评价?） 打赏 收藏 评论(0) 举报

资料介绍

基    金】 国家社会科学基金项目(18BTQ042) 延安大学继续教育教学改革研究专项(YDJY2016-11)


部分文件列表

文件名 大小
基于Python的改进关键词提取算法的实现.pdf 2M

【关注视频号领20积分】   【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）
第27卷 第13期  
Vol.27 No.13  
电子设计工程  
Electronic Design Engineering  
2019年7月  
Jul. 2019  
基于 Python 的改进关键词提取算法的实现  
牛永洁  
（延安大学 数学与计算机学院，陕西 延安 716000）  
摘要：关键词提取是自然语言研究领域的基础和关键点，在很多领域都有广泛的应用。以本校图  
书馆提供的 8045 篇《红色中华》新闻为源数据，首先对数据进行数据清理，去除其中的噪声数据，然  
后对每篇新闻进行数据结构解析，在解析的基础上计算了词语的 TFIDF 权重、词位置权重、词性权  
重、词长权重和词跨度权重，综合考虑这些权重计算出词语的综合权重，以综合权重最大的前 8 个  
词语作为新闻的关键词。从准确度、召回率及 F1 值 3 个指标对改进算法、经典的 TFIDF 算法和专  
家标注进行对比，发现改进算法在 3 个指标上均优于经典的 TFIDF 算法，与专家标注比较接近，值  
得推广应用。  
关键词：TFIDF；词性；词跨度；词长；词位置  
中图分类号：TP311.1  
文献标识码：A  
文章编号：1674-6236（2019）13-0011-05  
Implementation of improved keyword extraction algorithm based on Python  
NIU Yongꢀjie  
（College of Mathematics & Computer Science，Yan'an University，Yan'an 716000，China）  
Abstract: Keyword extraction is the foundation and key point in the field of natural language research  
and has been widely used in many fields. Based on the data of 8045 pieces of "Red China" news provided  
by our university library，this paper firstly cleans up the data，removes the noise data，and then analyzes  
the data structure of each news. On the basis of the analysis，it calculates the TFIDF weight of words，the  
weight of word position，the weight of part of speech，the weight of word length and the span of words.  
Weight，these weights are considered to calculate the comprehensive weight of words，and the first eight  
words with the largest comprehensive weight are used as the keywords of news. Comparing the improved  
algorithm，the classical TFIDF algorithm and the expert annotation from the three indexes of accuracy，recall  
rate and F1 value，it is found that the improved algorithm is superior to the classical TFIDF algorithm in  
the three indexes，and is close to the expert annotation，so it is worth popularizing and applying.  
Key words: TFIDF；part of speech；word span；word length；word position  
关键词的提取是自然语言处理中的基础与核心  
督性和非监督性两大类。通过训练数据构建学习模  
技术，在信息检索、文本分类、文本聚类、信息匹配、 型，判断词语是否归属于关键词类别，属于典型的有  
话题跟踪、自动摘要、人机对话、字符串相似性衡量  
等领域有广泛的应用[1-5]。但是针对不同的领域，关  
键词的提取要求千差万别，目前在不同的领域大多  
指导学习方法。有指导学习需要事先标注高质量的  
训练数据，人工预处理的代价较高，但是效果比较  
好[6]。非监督学习因为无需对数据进行训练，实现快  
依赖人工标注的方法进行，随着数据量的日益激增， 捷，仅需要文本自身的信息就能进行等优点被广泛  
人工标注的方法已经不能胜任，所以依靠计算机自  
动提取关键词显得十分重要。  
采用，非监督关键词抽取方法可归纳为 3 种: 基于  
TFIDF 统计特征的关键词抽取、基于主题模型的关  
键词抽取和基于词图模型的关键词抽取方法。这些  
关键词自动提取按照是否进行监督学习分为监  
方法都有自己的优缺点[7-8]  
。
收稿日期：2018-10-09  
稿件编号：201810018  
基金项目：国家社会科学基金项目（18BTQ042）；延安大学继续教育教学改革研究专项（YDJY2016-11）  
作者简介：牛永洁（1977—），男，河南许昌人，硕士，副教授。研究方向：数据挖掘、大数据。  
- 11 -  
《电子设计工程》2019年第13期  
文中以 TFIDF 算法为基础，综合考虑了文章中  
加权重，末段往往是对全文的总结，因此也需要对出  
现在末段的词语增加权重。每段内容的首句往往是  
本段内容的纲领，所以出现在每段第一句中的词语  
的权重也应该适当重视。词语位置的权重设置如表  
1 所示，用 W _loc 表示词位置权重。  
词语的位置、词性、词长度、词跨度等因素。在数据  
清洗的基础上，基于 Python 语言建立了文章的面向  
对象的数据结构，然后计算了词语的 TFIDF 权重、词  
性权重、词位置权重、词跨度权重、词长度权重，将这  
些权重加权得到总权重，取得权重值最大的 8 个词  
作为文章的权重。  
表1 词语位置权重设置  
出现位置  
标题  
权重名称  
W_title  
权重设置  
6
5
3
2
1
1 相关概念  
首段  
W_fseg  
末段  
W_eseg  
设定现在有一个新闻集合 D，集合中包含 N 篇  
新闻，每篇新闻报道称之为文章 Article，新闻的标题  
称为文章的标题 Title，新闻的正文称为文章的内容  
Content，内容使用换行回车或者符号<br/>分割为段  
落 Segment，段落中包含句子 Sentence，句子使用符号  
“。”，“？”，“！”，“……”，“…”进行分割，每个句子包含  
词语 Word，分词系统使用北京理工大学的大数据搜  
索与挖掘实验室的 NLPIR2016 系统进行分词。其他  
相关的概念包含 TFIDF 权重、词性权重、词位置权  
重、词跨度权重、词长度权重。  
首句  
W_fsen  
其他  
W_locother  
1.3 词性权重  
汉语词性可以分为可分为实词和虚词。实词包  
含: 名词、动词、形容词、数词、量词和代词。虚词包  
括: 副词、介词、连词、助词、叹词、拟声词。关键词词  
性分布一般是名词或名词性短语为主。其次是动词  
研究发现，最后是数词、副词和其他修饰词等[11]。考  
虑词性特征可以有效避免传统采用语言学方法的缺  
陷[12-13]，词性的权重设置如表 2 所示，用 W _depart 表  
示词性权重。  
1.1 TFIDF的概念  
TFIDF 算 法 处 理 的 对 象 是 文 章 的 Content 部  
分[9-10]，其中每个词语 Word 的权重由式（1）计算。  
表2 词性权重设置  
词性  
名词性  
权重名称  
W_posn  
权重设置  
Wtf (i)= tfi*idfi  
（1）  
6
4
3
2
1
Wtf (i) 代表第 i 个词语使用 TFIDF 方法的权重，tfi  
动词性  
W_posv  
表示该词的词频，词频=该词在 Content 中出现的次  
数/Content 中词语总数，idfi 称为逆文档频率，计算方  
形容词、副词  
数词、量词  
其他  
W_posa  
W_posm  
W_posother  
法采用式（2）计算。  
N + 1  
1.4 词长权重  
idfi = log(  
+ 1)  
（2）  
dfi + 1  
经过研究发现，一个文章的关键词的词长一般  
大于 2，所以可以将词长小于 2 的词语过滤掉，关键  
词词长越长包含的信息越大，但是关键词词长一般  
不超过 6，因此也可以将词长大于 6 的词语过滤掉。  
由于关键词词长越长包含的信息越大，可以使用式  
（3）作为词长的权重，用 W _len 表示词长权重。  
词长  
式（2）中的 N 表示文档总数，dfi 表示文档中出  
现词语 i 的文档数，为了避免 dfi 为 0 和除 0 的问题，  
idfi 使用了变形的形式。  
TFIDF 的计算表明如果一个词语在一个内容  
Content 中出现的次数越多但是在集合 D 中包含该词  
语的其他文章数量越少，该词语成为文章关键词的  
权重越大，文中采用 W_tfidf 表示词语的权重。  
1.2 词位置权重  
W_len =  
（3）  
词长 + 4  
1.5 词跨度  
一个词的跨段落情况说明这个词是描述局部的  
还是表达全文的。跨段数越多，说明该词越重要，全  
局性越强。显然，局部关键词不是我们需要提取的  
目标，然而在传统 TFIDF 的算法中，局部关键词往往  
会因为其高频优势成为整个文档的关键词，降低了  
根据文献[11]中的思想，文章的标题 Title 一般会  
尽可能包含文章的中心思想，所以出现在标题中的  
词语成为关键词的概率最大，另外一个文章的第一  
段往往是全文的初步概括，也能最大限度的体现文  
章的主旨，所以对出现在第一段中的词语也需要增  
- 12 -  

相关下载

全部评论(0)

暂无评论
评论赚积分>>

上传资源 上传优质资源有赏金

热门标签

更多>>

最新上传

  • 打赏
  • 30日榜单

热门下载

推荐下载

本站上的所有资源均为源于网上收集或者由用户自行上传，仅供学习和研究使用，无任何商业目的，版权归原作如有侵权，请 来信指出，本站将立即改正。

ICP许可证号：京ICP证070360号     21IC电子网 2000- 版权所有

京ICP备11013301号

京公网安备 11010802024343号