积分商城

最新搜索： TI大学计划 电机噪声 AI AD16仿真 逆变器资料 devioctl.h
您现在的位置是：首页 > 技术资料 > 基于Python语言的中文文本处理研究
推荐星级：
  • 1
  • 2
  • 3
  • 4
  • 5

基于Python语言的中文文本处理研究

更新时间：2019-12-24 10:29:31 大小：2M 上传用户：songhuahua查看TA发布的资源 标签：python中文文本处理 下载积分：1分 评价赚积分 （如何评价?） 打赏 收藏 评论(0) 举报

资料介绍

随着计算机技术的普及,基于机器语言的文本处理方法开始应用到各个领域,如何结合统计方法和机器方法的优势并将其应用于文本自动处理自然成为国内外语料库语言学研究的重点。和国外相比,国内对中文文本处理领域的研究相对落后一些,因此基于机器语言的中文文本处理成为一项非常有意义的研究课题,特别是对于汉语编码以及词语切分问题都具有极其现实的意义。基于HSK动态作文语料库中,母语为英语的汉语学习者汉语等级水平考试作文语料及自建的中国大学生汉语作文语料库,针对汉语语料库加工问题进行探讨和研究。通过动宾搭配研究中的分词赋码、高频词提取、句法分析等主要环节,深入观察语料,发现相比汉语本族语者,母语为英语的汉语学习者显著较少使用动宾搭配,为下一步的研究提出展望。


部分文件列表

文件名 大小
基于Python语言的中文文本处理研究.pdf 2M

【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）
37  
3
Vol． 37 No． 3  
June． 2018  
第
卷 第  
期
南昌工程学院学报  
Journal of Nanchang Institute of Technology  
2018  
6
月
年
: 1674 － 0076( 2018) 03 － 0070 － 06  
文章编号  
Python  
基于  
语言的中文文本处理研究  
温 珍  
(
，
南通大学 外国语学院 江苏 南通  
226019)  
: ， ，  
要 随着计算机技术的普及 基于机器语言的文本处理方法开始应用到各个领域 如何结合统计方法和机器方  
摘
。 ，  
法的优势并将其应用于文本自动处理自然成为国内外语料库语言学研究的重点 和国外相比 国内对中文文本处  
， ，  
理领域的研究相对落后一些 因此基于机器语言的中文文本处理成为一项非常有意义的研究课题 特别是对于汉  
。
语编码以及词语切分问题都具有极其现实的意义 基于  
HSK  
，
动态作文语料库中 母语为英语的汉语学习者汉语等  
， 。  
级水平考试作文语料及自建的中国大学生汉语作文语料库 针对汉语语料库加工问题进行探讨和研究 通过动宾  
、 、 ， ， ，  
搭配研究中的分词赋码 高频词提取 句法分析等主要环节 深入观察语料 发现相比汉语本族语者 母语为英语的  
，
汉语学习者显著较少使用动宾搭配 为下一步的研究提出展望  
。
: Python  
; ;  
语言 中文文本 语料库  
关键词  
中图分类号  
: TP391． 1  
: A  
文献标识码  
Chinese text processing based on Python language  
WEN Zhen  
( School of Foreign languages，Nantong University，Nantong 226019，China)  
Abstract: With the popularity of computer technology，text processing based on machine language are widely used in various  
fields． How to combine the advantages of statistical and machanical methods and apply them to the automatic processing of  
texts has naturally become the focus of corpus linguistic research at home and abroad． Compared with foreign countries，do-  
mestic research in the field of Chinese text processing is lagging behind． Therefore，Chinese text processing based on ma-  
chine language makes more senses，especially for Chinese coding and word segmentation． All the examples are mainly from  
HSK test compositions written by English-spenking learaers of Chinese and Self-built Chinese compositions Corpus of native  
Chinese speakers． Through the key elements of segmentation，high-frequency word extraction，and syntactic analysis in the  
study of the Verb-Noun Collocations，the in-depth observation of corpus reveals that Chinese learners whose native language  
is English are less likely to use Verb Object collocations than Chinese native speakers． And this paper proposed the re-  
+
search prospects of Chinese Verb + Object collocations．  
Key words: Python programming language; Chinese texts; corpus  
90  
， 。  
年代开始 自然语言处理成为大规模语料库研究中的重要数据处理手段 世界上二十多种主  
上世纪  
，Python 、 。Python  
语言因其强大的功能 易掌握性脱颖而出  
，
语言包含众多功能 文本处理功能  
流编程语言中  
。 ， 。  
是最常用的 目前国外对英文文本处理领域的研究已经比较成熟 且取得了不错的进展 虽然国内对中文  
， 、  
文本处理这一领域的起步时间晚于国外 另外英文和中文在空格标志 语义分析层面的差异也使得国内在该  
， ， ，  
领域的发展落后一些 但是在知识全球化趋势下 国内中文文本分词的技术已经逐渐成熟 已从初期原始的  
［1］  
，
查阅词典方式 到如今引入统计学中的语言模型对文本进行分词  
。
Python Python  
自身的优越性以及国内使用  
，
语言进行中文文本处理的现状 本文采用  
HSK  
动态作  
基于  
“
文语料库中 母语为英语的汉语学习者等级水平测试作文语料以及自建的大学生作文语料库为主要语料  
”，  
通过  
Python  
NLPIR，Jieba  
Urllib 3  
、
个自然语言处理包对语料分别进行分词赋码 动词高频词  
库
语言的  
和
， 3  
的提取和句法分析 简单介绍 个自然语言处理包在汉语定量分析研究中的运用以提高  
Python  
语言在汉语  
。 ， 、  
语料库加工的适用性 从某种意义上来说 中文文本处理的高效性 规范性不仅能保证语料库加工的质量和  
: 2018 － 03 － 29  
收稿日期  
:
作者简介 温  
( 1996 － ) ， ， ，411626775@ qq． com．  
女 硕士生  
珍
3
: Python  
珍 基于 语言的中文文本处理研究  
第
期
温
71  
，
通用性 也进一步拓展汉语动宾搭配研究的广度和深度  
。
1 Python  
语言的文本处理背景  
1． 1  
概述  
Python  
·
语言由吉多 范罗苏姆  
( Guido Van Rossum)  
1989 ，  
年开发设计的 是一种面向对象的解释型高  
于
［2］  
。
，
面对各种编程语言 一个刚入门的编程学习者势必会产生各种疑问和困惑  
。
而
级计算机程序设计语言  
，
在众多编程语言中 选择  
Python  
3
语言的原因和优势体现在以下 个方面  
。
( 1)  
，
语法简洁 可读性强  
Python  
， ， ，  
指令里的一个语句块的以增加缩进开始 减少缩进结束 且语句块的使用是没有歧义的 同时  
，
Python  
， ， ，  
语言支持在函数后书写文档字符 用于解释函数的作用和类型 意义及取值范围等 便于其他开发学  
;
习者阅读 在程序设计时使用其他程序语言使用的标点符号和英文单字使得其编写的代码呈现整洁美观的  
。
，Python  
Java、C /C + +  
(
语言使用的特殊字符 大括号和一些关键字  
) ，Py-  
效果 因此  
的程序设计者为了避开  
的程序设计者通常使用缩进的方式来编写代码  
( 2)  
thon  
。
，
开发周期短 嵌入性高  
Python  
3
。
Python  
开发周期短的原因主要有  
个
一个原因在于  
。Python  
语法的清晰和高可读性使无经验的程序员  
，
更加容易上手 极大地提高了程序的开发速度  
在减少开发时间的同时也保证了程序性能不会随之  
。 ， Python  
降低 另外一个原因在于 在  
， ，  
程序运行时 无需将源代码编译成二进制代码以及连接其他软件 键入  
Python  
。 、 。  
的解释器直接对源代码立刻运行 运行结果和代码可保存 共享给其他程序开发者 最后  
，
代码后  
Python  
、 、 、 ， 、 、 ，  
面对的对象是函数 模块 数字 字符 具有封装 继承 多态三大特性 这使得  
Python  
，
程序易于移植  
［3］  
。
增加源代码的复制频率  
Python  
。Python  
C /C + +  
，
的程序 联结使用  
C /C + +  
语
在嵌入系统的成果充分证明了易使用性  
。Python  
可嵌入  
，
言制作的各种模块 为用户提供脚本功能  
Java，C /C + +  
高于  
的代码复用能力使其在嵌入式科学领  
［4］  
， 、  
域的发展迅速 如机器人 无人机项目  
。
( 3)  
，
体积虽小 其功能却极其强大  
［3］  
Python  
， ，  
是脚本语言 倒不如说是一种高级动态编程语言 一些大型软件的开发也离开不了它  
。
与其说  
这些都要归功于  
LAB  
Python  
，Python  
，
MAT-  
丰富且强大的类库  
Matplotlib  
程序下的库可以帮助处理许多工作 例如具有与  
Numpy ，  
第三方库 实现爬虫功能的  
，
相同绘制图像功能的  
第三方库 提供代数等科学计算的  
BeautifulSoup，  
简化许多复杂  
HTTP  
HTTP  
Requests， PyGame。  
用于多媒体和游戏软件开发的模块  
功能的  
库
Python  
，
的库大部分是开源免费的 直接利用源代码或者把源代码打包发行  
。
Java  
而
中的许多类库限于其开  
C /C + +  
等其他语  
， ，  
发公司内部使用 源代码不对外开放 发行的只是一个  
Jar 。 ，Python  
包 除此之外  
Python  
也可借助  
，
言来设计 再将其置于  
Python  
。
语言中使用 以上事实愈加巩固  
。
语言在程序开发上的重要地位  
1． 2  
与国内专用语料库软件的对比  
， Ant． Conc、Tree Tagger  
国内的语料库研究领域 如  
，
等一些语料库专用软件使用较为广泛 但这些软件在  
，
某些功能上存在一些缺陷 并不能对语言的研究提供全面系统的支持  
。Python  
，
作为一门高级的程序语言 只  
，
要一条语句就能解决数据结构的问题 这无疑为语料库语言学的研究方法开辟了一条新途径  
。
( 1)  
功能性和灵活性强  
许多语料库软件的使用范围比较狭小 仅限于其专门的领域  
ligator ，CLAWS  
，
: BFSU Collocator  
; BFSU Col-  
用于搭配分析  
。 、 、  
用于词性赋码 这些专用语料库软件虽然可以完成文本收集 整理 标注以  
用于类联接分析  
， 。 ，  
及分析的工作 但是这些繁琐的步骤使得研究的效率大大降低 语料库研究者要实现一种特定功能 可通过  
， ，  
代码的改写实现功能的最优化 一步实现文本的分词和赋码 避免了软件之间不同语言转换和数据处理的  
。
问题  
( 2)  
全面系统  
、 ， 、  
传统的语料库软件设计理念主要停留在基于词汇 词汇的搭配的层面 较少拓展至句法 篇章层次  
。Py-  
thon  
， 。  
不仅可用于进行词汇的检索和统计 而且能调用不同的模块来分析句法和篇章 在图像处理方面  
，Py-  
［5］  
thon  
， Matplotlib  
可通过 库对文本所产生的数据进行图像  
作为自然语言处理领域常用的文本分析工具之一  

相关下载

全部评论(0)

暂无评论
评论赚积分>>

上传资源 上传优质资源有赏金

热门标签

更多>>

最新上传

  • 打赏
  • 30日榜单

热门下载

推荐下载

本站上的所有资源均为源于网上收集或者由用户自行上传，仅供学习和研究使用，无任何商业目的，版权归原作如有侵权，请 来信指出，本站将立即改正。

ICP许可证号：京ICP证070360号     21IC电子网 2000- 版权所有

京ICP备11013301号

京公网安备 11010802024343号