推荐星级：
- 1
- 2
- 3
- 4
- 5
基于Python自然语言处理工具包在语料库研究中的运用
资料介绍
国内当前以语料库为基础的研究,在研究工具方面,多以Ant Conc、Power GREP为主,使用Python语言NLTK包进行数据处理分析的研究较少,限于软件自身设计,不能灵活地对研究方法提供支持。在研究中使用Python语言的NLTK处理包,使数据有了统一标准,避免了各类文字处理转换的麻烦,同时也弥补了Range等工具在句法分析、图形绘制、正则表达式检索等方面的缺憾。针对语料库研究的中文本分词、词形归并、文本检索统计等主要环节,简要介绍Python语言的NLTK自然语言处理包在语料库研究中的运用,并以古腾堡语料库中的简·奥斯丁小说《艾玛》为例,说明如何运用该自然语言处理包对语料进行加工处理。
部分文件列表
| 文件名 | 大小 |
| 基于Python自然语言处理工具包在语料库研究中的运用.pdf | 2M |
部分页面预览
（完整内容请下载后查看）第 ３１ 卷 第 ５ 期
２０１５ 年 １０ 月
昆 明 冶 金 高 等 专 科 学 校 学 报
Ｖｏｌ ３１ Ｎｏ ５
Ｏｃｔ． ２０１５
ꢀ ꢀ
Ｊｏｕｒｎａｌ ｏｆ Ｋｕｎｍｉｎｇ Ｍｅｔａｌｌｕｒｇｙ Ｃｏｌｌｅｇｅ
ｄｏｉ： １０． ３９６９ ／ ｊ． ｉｓｓｎ． １００９ － ０４７９． ２０１５． ０５． ０１２
基 于 Ｐｙｔｈｏｎ 自 然 语 言 处 理 工 具 包
在 语 料 库 研 究 中 的 运 用
刘 ꢀ 旭
（ 云 南 师 范 大 学 外 国 语 学 院 ， 云 南 昆 明 ６５０５００）
摘 ꢀ 要 ： 国 内 当 前 以 语 料 库 为 基 础 的 研 究 ， 在 研 究 工 具 方 面 ， 多 以 ＡｎｔＣｏｎｃ、 ＰｏｗｅｒＧＲＥＰ 为 主 ， 使 用 Ｐｙｔｈｏｎ 语
ＮＬＴＫ 包 进 行 数 据 处 理 分 析 的 研 究 较 少 ， 限 于 软 件 自 身 设 计 ， 不 能 灵 活 地 对 研 究 方 法 提 供 支 持 。 在 研 究 中
言
使 用 Ｐｙｔｈｏｎ 语 言 的 ＮＬＴＫ 处 理 包 ， 使 数 据 有 了 统 一 标 准 ， 避 免 了 各 类 文 字 处 理 转 换 的 麻 烦 ， 同 时 也 弥 补 了
Ｒａｎｇｅ 等 工 具 在 句 法 分 析 、 图 形 绘 制 、 正 则 表 达 式 检 索 等 方 面 的 缺 憾 。 针 对 语 料 库 研 究 的 中 文 本 分 词 、 词 形 归
并 、 文 本 检 索 统 计 等 主 要 环 节 ， 简 要 介 绍 Ｐｙｔｈｏｎ 语 言 的 ＮＬＴＫ 自 然 语 言 处 理 包 在 语 料 库 研 究 中 的 运 用 ， 并 以
古 腾 堡 语 料 库 中 的 简 · 奥 斯 丁 小 说 《 艾 玛 》 为 例 ， 说 明 如 何 运 用 该 自 然 语 言 处 理 包 对 语 料 进 行 加 工 处 理 。
关 键 词 ： Ｐｙｔｈｏｎ； ＮＬＴＫ 工 具 包 ； 语 料 库 研 究
中 图 分 类 号 ： ＴＰ３９１ １ꢀ ꢀ ꢀ ꢀ
文 献 标 志 码 ： Ａ
文 章 编 号 ： １００９ － ０４７９ － （ ２０１５） ０５ － ００６５ － ０５
Ｔｈｅ Ａｐｐｌｉｃａｔｉｏｎ ｏｆ ＮＬＴＫ Ｔｏｏｌｋｉｔ Ｂａｓｅｄ ｏｎ Ｐｙｔｈｏｎ ｉｎ Ｃｏｒｐｕｓ Ｒｅｓｅａｒｃｈ
ＬＩＵ Ｘｕ
（ Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ｆｏｒｅｉｇｎ Ｌａｎｇｕａｇｅｓ， Ｙｕｎｎａｎ Ｎｏｒｍａｌ Ｕｎｉｖｅｒｓｉｔｙ， Ｋｕｎｍｉｎｇ ６５０５０３， Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ： Ａｃｃｏｒｄｉｎｇ ｔｏ ｔｈｅ ｃｕｒｒｅｎｔ ｄｏｍｅｓｔｉｃ ｃｏｒｐｕｓ ｂａｓｅｄ ｓｔｕｄｙ， ＡｎｔＣｏｎｃ ａｎｄ ＰｏｗｅｒＧＲＥＰ ａｒｅ ｔｈｅ ｍａｉｎ
ｒｅｓｅａｒｃｈ ｔｏｏｌ． Ｆｅｗ ｓｔｕｄｉｅｓ ｗｅｒｅ ｄｏｎｅ ｕｓｉｎｇ ｔｈｅ Ｐｙｔｈｏｎ ｌａｎｇｕａｇｅ ＮＬＴＫ ｐａｃｋｅｔ ｆｏｒ ｄａｔａ ｐｒｏｃｅｓｓｉｎｇ ａｎｄ ａ
ｎａｌｙｓｉｓ． Ｉｔ ｃａｎ ｎｏｔ ｐｒｏｖｉｄｅ ｓｕｐｐｏｒｔ ｔｏ ｔｈｅ ｒｅｓｅａｒｃｈ ｍｅｔｈｏｄｓ ｄｕｅ ｔｏ ｔｈｅ ｄｅｓｉｇｎ ｄｅｆｅｃｔ ｏｆ ｔｈｅ ｓｏｆｔｗａｒｅ． Ｔｈｅ
Ｐｙｔｈｏｎ ｌａｎｇｕａｇｅ ＮＬＴＫ ｈａｎｄｌｉｎｇ ｐａｃｋａｇｅ ｗａｓ ｕｓｅｄ ｉｎ ｔｈｅ ｓｔｕｄｙ ｓｏ ｔｈａｔ ｔｈｅ ｄａｔａ ｈａｖｅ ｕｎｉｆｏｒｍ ｓｔａｎｄａｒｄｓ，
ａｖｏｉｄｉｎｇ ｔｈｅ ｃｏｎｖｅｒｓｉｏｎ ｏｆ ｖａｒｉｏｕｓ ｔｙｐｅｓ ｏｆ ｗｏｒｄ ｐｒｏｃｅｓｓｉｎｇ ｗｏｒｋｓｈｏｐ ｔｒｏｕｂｌｅ． Ｉｔ ａｌｓｏ ｍａｋｅｓ ｕｐ ｆｏｒ ｔｈｅ
ｗｅａｋｎｅｓｓ ｏｆ ｔｈｅ ｒａｎｇｅ ｔｏｏｌ ｓｕｃｈ ａｓ ｓｙｎｔａｃｔｉｃ ａｎａｌｙｓｉｓ， ｇｒａｐｈｉｃ， ｒｅｇｕｌａｒ ｅｘｐｒｅｓｓｉｏｎ ｓｅａｒｃｈ ｅｔｃ． Ｉｎ ｔｈｉｓ ｐａ
ｐｅｒ， ｉｔ ｗａｓ ｂｒｉｅｆｌｙ ｉｎｔｒｏｄｕｃｅｄ ｔｈａｔ ｔｈｅ ａｐｐｌｉｃａｔｉｏｎ ｏｆ ＮＬＴＫ ｐｒｏｃｅｓｓｉｎｇ ｐａｃｋａｇｅ ｂａｓｅｄ ｏｎ Ｐｙｔｈｏｎ ｉｎ ｃｏｒｐｕｓ
ｒｅｓｅａｒｃｈ． Ｔｈｅｎ ｉｔ ｔａｋｅｓ ｔｈｅ ｎｏｖｅｌ Ｅｍｍａ ｗｒｉｔｔｅｎ ｂｙ Ａｕｓｔｅｎ ｉｎ Ｇｕｔｅｎｂｅｒｇ ｃｏｒｐｕｓ ａｓ ａｎ ｅｘａｍｐｌｅ ｔｏ ｅｘｐｌａｉｎ
ｈｏｗ ｔｏ ｕｓｅ ｔｈｅ ｎａｔｕｒａｌ ｌａｎｇｕａｇｅ ｐｒｏｃｅｓｓｉｎｇ ｔｏ ｐｒｏｃｅｓｓ ｔｈｅ ｄａｔａ．
Ｋｅｙ ｗｏｒｄｓ： Ｐｙｔｈｏｎ； ＮＬＴＫ ｔｏｏｌｋｉｔ； ｃｏｒｐｕｓ ｒｅｓｅａｒｃｈ
不 论 是 语 料 库 的 建 设 ， 还 是 语 料 库 研 究 的 数 据 处 理 ， 都 需 要 对 语 料 库 进 行 加 工 与 处 理 。 基 于 计 算 机
编 程 语 言 Ｐｙｔｈｏｎ 的 ＮＬＴＫ 工 具 包 是 一 个 可 用 于 对 自 然 语 言 进 行 清 洁 、 赋 码 、 检 索 、 语 法 及 语 义 分 析 等 处
理 的 工 具 包 ， 与 常 见 的 Ｒａｎｇｅ， ＰｏｗｅｒＧＲＥＰ， ＡｎｔＣｏｎｃ 等 语 料 库 软 件 相 比 ， ＮＬＴＫ 工 具 包 不 仅 具 备 上 述 工
具 中 常 见 的 检 索 功 能 ， 还 具 备 文 本 清 洁 、 词 形 归 并 、 词 性 赋 码 、 语 法 分 析 等 多 种 功 能 。 其 中 ， 检 索 功 能
可 用 于 词 汇 搭 配 研 究 、 类 联 接 研 究 ； 文 本 清 洁 、 词 形 归 并 可 用 于 语 料 库 建 库 对 数 据 的 处 理 。 该 处 理 包 的
特 色 在 于 能 让 研 究 者 在 一 个 环 境 中 完 成 语 料 库 从 建 设 到 检 索 研 究 的 整 个 过 程 中 ， 省 去 在 各 个 软 件 之 间 切
换 及 数 据 转 换 的 不 便 ， 进 一 步 扩 展 了 研 究 的 范 围 和 深 度 。 而 传 统 的 使 用 固 定 软 件 开 展 基 于 语 料 库 语 言 研
究 的 方 式 ， 在 研 究 对 象 和 层 次 上 ， 只 能 按 照 软 件 设 计 者 的 意 愿 进 行 研 究 ， 多 限 于 词 汇 及 词 汇 搭 配 层 面 ，
收 稿 日 期 ： ２０１５ － ０９ － ０１
作 者 简 介 ： 刘 旭 （ １９８９ － ） ， 男 ， 云 南 昭 通 人 ， 学 科 教 学 英 语 硕 士 研 究 生 ， 主 要 从 事 外 语 教 学 及 语 料 库 语 言 学 研 究 。
６６
昆 明 冶 金 高 等 专 科 学 校 学 报 ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ２０１５ 年 １０ 月
能 在 句 法 、 篇 章 等 层 面 进 行 研 究 且 易 于 扩 展 的 软 件 不 多 。 Ｐｙｔｈｏｎ 的 ＮＬＴＫ 工 具 包 正 好 弥 补 了 这 一 缺 憾 ，
Ｐｙｔｈｏｎ 语 言 是 一 门 易 于 学 习 且 功 能 强 大 的 编 程 语 言 ， 适 合 用 于 处 理 语 言 数 据 ， 因 其 简 洁 的 语 法 以 及 解 释
性 语 言 的 本 质 ， 广 泛 应 用 于 工 业 、 科 研 、 教 育 研 究 等 多 个 领 域 。 ＮＬＴＫ 工 具 包 创 建 于 ２００１ 年 ， 最 初 是
宾 州 大 学 计 算 机 与 信 息 科 学 系 计 算 语 言 学 课 程 的 一 部 分 ， 后 来 在 志 愿 者 帮 助 下 不 断 发 展 ， 成 为 Ｐｙｔｈｏｎ
平 台 上 一 款 优 秀 的 自 然 语 言 处 理 工 具 。 通 过 ＮＬＴＫ 工 具 包 ， 可 方 便 使 用 诸 如 ＷｏｒｄＮｅｔ、 布 朗 语 料 库 、 宾
州 树 库 等 ５０ 余 种 语 料 库 和 语 料 资 源 。 此 外 该 工 具 包 还 提 供 一 套 包 含 文 本 分 类 、 分 词 、 词 形 归 并 、 标 注
等 功 能 在 内 的 文 本 处 理 工 具 ， 可 在 Ｗｉｎｄｏｗｓ， Ｌｉｎｕｘ， Ｍａｃ ＯＳ 等 多 个 平 台 运 行 ， 和 Ｐｙｔｈｏｎ 语 言 一 样 免 费
分 发 使 用 。
本 文 仅 针 对 语 料 库 研 究 中 的 文 本 清 洁 、 词 形 归 并 、 文 本 检 索 统 计 等 主 要 环 节 ， 简 要 介 绍 Ｐｙｔｈｏｎ 语
言 的 ＮＬＴＫ 自 然 语 言 处 理 包 在 语 料 库 研 究 中 的 运 用 ， 并 以 古 腾 堡 语 料 库 中 的 简 · 奥 斯 丁 所 著 小 说 《 艾
玛 》 为 例 ， 说 明 如 何 运 用 该 自 然 语 言 处 理 包 对 语 料 进 行 加 工 处 理 ， 以 便 语 料 库 语 言 学 研 究 者 熟 悉 和 使
用 ， 丰 富 广 大 研 究 人 员 开 展 研 究 的 工 具 ， 促 进 语 料 库 语 言 学 研 究 的 发 展 。
１ꢀ ＮＬＴＫ 包 在 语 言 量 化 研 究 方 面 主 要 功 能 介 绍
本 文 评 介 的 版 本 Ｐｙｔｈｏｎ２ ７ 环 境 ， 可 从 ｈｔｔｐｓ： ／ ／ ｗｗｗ ｐｙｔｈｏｎ ｏｒｇ／ ｄｏｗｎｌｏａｄｓ／ ｗｉｎｄｏｗｓ／ 下 载 ； ＮＬＴＫ 处 理
包 ３ ０ 版 本 ， 可 从 ｈｔｔｐ： ／ ／ ｗｗｗ ｎｌｔｋ ｏｒｇ／ ｉｎｓｔａｌｌ ｈｔｍｌ 下 载 ； 所 有 数 据 可 通 过 ＮＬＴＫ 下 载 器 站 点 下 载 。
１ １ꢀ 原 始 语 料 预 处 理
原 始 语 料 通 常 是 通 过 网 络 、 人 工 录 入 、 软 件 识 别 转 换 等 方 式 获 得 的 ， 文 本 常 存 在 符 号 、 格 式 不 规 范
等 问 题 ， 如 果 在 研 究 中 直 接 使 用 会 影 响 数 据 统 计 、 赋 码 等 多 个 环 节 。 对 原 始 语 料 的 处 理 ， 就 是 解 决 符
号 、 格 式 不 规 范 的 问 题 ， 以 便 在 下 一 步 研 究 中 使 用 。 在 Ｐｙｔｈｏｎ 的 自 然 语 言 处 理 包 中 ， 可 以 调 用 ｓ ｉｓａｌｐｈａ
（ ） 结 合 正 则 表 达 式 实 现 文 本 清 洁 ， 也 可 以 通 过 ｒｅｐｌａｃｅ 命 令 对 指 定 字 符 进 行 替 换 ， 同 时 可 以 导 入 停 用 词
表 ， 删 去 语 料 中 的 停 用 词 ， 对 语 料 进 行 进 一 步 处 理 。
１ ２ꢀ 语 料 信 息 提 取 与 分 析
分 词 （ ｔｏｋｅｎｉｚａｔｉｏｎ） 是 指 将 一 连 串 字 符 转 换 成 相 互 分 离 、 容 易 识 别 的 形 符 （ ｔｏｋｅｎｓ） 的 过 程 。 在 文
本 采 集 过 程 中 ， 由 于 文 本 来 源 不 一 ， 格 式 各 异 ， 文 本 内 部 存 在 很 大 的 不 一 致 性 ， 如 果 不 进 行 分 词 处 理 ，
一 来 容 易 导 致 检 索 困 难 ， 二 来 可 能 使 语 料 库 的 频 率 统 计 出 现 误 差 ， 还 可 能 会 影 响 语 料 库 的 标 注 和 后 期 加
工 。 在 Ｐｙｔｈｏｎ 的 自 然 语 言 处 理 包 中 ， 可 以 直 接 调 用 ｔｏｋｅｎｉｚｅ 方 法 实 现 分 析 ， 也 可 以 结 合 正 则 表 达 式 通 过
调 用 ｓｐｌｉｔ 方 法 实 现 更 细 致 的 分 词 。
词 形 还 原 （ ｌｅｍｍａｔｉｚａｔｉｏｎ） 是 指 对 文 本 中 词 汇 的 曲 折 形 式 进 行 归 并 的 过 程 。 在 实 际 研 究 过 程 中 ， 出
于 不 同 的 研 究 目 的 ， 需 将 同 一 个 词 的 不 同 曲 折 形 式 归 并 到 一 起 ， 视 为 同 一 个 词 。 如 在 教 材 词 汇 量 调 查 的
定 量 研 究 中 ， 有 时 需 要 分 析 教 材 的 词 汇 量 ， 如 果 把 ｄｏ， ｄｉｄ， ｄｏｅｓ， ｄｏｎｅ 作 为 ４ 个 不 同 词 汇 看 待 有 时 就
显 得 不 妥 ， 需 要 对 这 些 词 汇 进 行 归 并 后 分 析 。 在 Ｐｙｔｈｏｎ 的 自 然 语 言 处 理 包 中 ， 可 调 用 ＷｏｒｄＮｅｔＬｅｍｍａｔｉ
ｚｅｒ （ ） 方 法 直 接 进 行 归 并 ， 也 可 以 通 过 词 形 还 原 词 表 进 行 词 形 还 原 。
词 形 赋 码 （ ｐａｒｔ ｏｆ ｓｐｅｅｃｈ ｔａｇｇｉｎｇ） 是 指 根 据 文 本 中 的 上 下 文 信 息 ， 自 动 标 注 文 本 中 所 有 词 的 词 形 的
过 程 ， 即 在 文 本 中 各 类 名 词 、 形 容 词 、 动 词 等 所 有 词 后 加 上 对 应 的 标 签 ， 以 方 便 检 索 和 语 言 处 理 。 自 动
词 形 赋 码 工 具 大 致 可 以 分 为 ３ 类 ， 即 基 于 规 则 的 赋 码 、 基 于 统 计 的 赋 码 和 基 于 神 经 网 络 的 赋 码 ， 其 中 后
２ 类 准 确 率 较 高 。 在 Ｐｙｔｈｏｎ 的 自 然 语 言 处 理 包 中 ， 通 过 ｐｏｓ＿ ｔａｇ （ ） 方 法 实 现 对 词 汇 的 赋 码 。
１ ３ꢀ 语 料 统 计 分 析
梁 茂 成 、 李 文 中 、 许 家 金 等 认 为 语 料 库 检 索 的 目 的 是 导 出 索 引 行 ， 以 便 于 批 量 观 察 类 似 的 语 言 现
象 ， 找 到 其 中 的 规 律 。 这 些 规 律 主 要 涵 盖 以 下 几 个 方 面 ： １） 有 关 词 语 搭 配 的 规 律 。 一 个 词 经 常 与 哪 些
词 共 同 出 现 ， 这 并 非 出 于 偶 然 。 词 语 搭 配 一 方 面 与 意 义 有 关 ， 另 一 方 面 也 与 型 式 （ ｐａｔｔｅｒｎｓ） 有 关 。 分
析 词 语 搭 配 对 外 语 教 学 、 外 语 学 习 、 自 然 语 言 处 理 等 具 有 重 要 意 义 。 ２） 有 关 类 联 接 和 型 式 的 规 律 。 搭
配 研 究 中 考 虑 的 是 词 与 词 之 间 的 共 现 关 系 ， 而 类 联 接 和 型 式 所 指 的 则 是 更 高 层 面 的 语 言 现 象 ， 如 不 同 动
更多>>
最新上传
- 打赏
- 30日榜单
-
SYFSSYYFF 打赏3.00元 3天前
-
我是蒙帆 打赏1.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic下载 打赏310.00元 3天前
用户：w178191520
-
21ic下载 打赏310.00元 3天前
用户：小猫做电路
-
21ic下载 打赏310.00元 3天前
用户：gsy幸运
-
21ic下载 打赏210.00元 3天前
用户：zhengdai
-
21ic下载 打赏210.00元 3天前
用户：jh0355
-
21ic下载 打赏210.00元 3天前
用户：jh03551
-
21ic下载 打赏210.00元 3天前
用户：xzxbybd
-
21ic下载 打赏70.00元 3天前
用户：铁蛋锅
-
21ic下载 打赏60.00元 3天前
用户：sun2152
-
21ic下载 打赏60.00元 3天前
用户：xuzhen1
-
21ic下载 打赏60.00元 3天前
用户：liqiang9090
-
21ic下载 打赏20.00元 3天前
用户：w1966891335
-
21ic下载 打赏30.00元 3天前
用户：玉落彼岸
-
21ic下载 打赏15.00元 3天前
用户：x15580286248
-
21ic下载 打赏15.00元 3天前
用户：kk1957135547
-
21ic下载 打赏15.00元 3天前
用户：w993263495
-
21ic下载 打赏30.00元 3天前
用户：SkyEagle88
-
21ic下载 打赏25.00元 3天前
用户：hp860629
-
21ic下载 打赏5.00元 3天前
用户：dong2223333
-
21ic下载 打赏10.00元 3天前
用户：dxb3320
-
21ic下载 打赏10.00元 3天前
用户：DXB193394
-
21ic下载 打赏10.00元 3天前
用户：westup
-
21ic小能手 打赏15.00元 3天前
-
21ic小能手 打赏20.00元 3天前
-
21ic小能手 打赏8.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
资料：高频功率放大器设计
-
21ic小能手 打赏5.00元 3天前
资料：基于PID的双轮平衡车
-
21ic小能手 打赏10.00元 3天前
-
21ic下载 打赏310.00元 3天前
用户：w178191520
-
21ic下载 打赏310.00元 3天前
用户：小猫做电路
全部评论(0)