推荐星级：
- 1
- 2
- 3
- 4
- 5
基于Python的Web信息获取方法研究
资料介绍
随着大数据和云计算等新一代互联网技术的迅速发展,Web信息量逐日海量递增。从海量数据中提取有效信息,挖掘有潜在价值的关系成为当前的研究热点,这对揭示已知规律、预测未知结果有极大的辅助作用。对当前Web信息获取方法、原理和关键技术进行研究分析,重点阐述了数据采集相关技术中网络爬虫算法的分类与应用。提出一种以Python和相关库为主要工具,结合模块化方法,构建Web文本信息获取系统框架与流程的策略。案例中通过定义采集函数,实现对给定的维基百科词条,快速搜索与该词条相关信息,对词条内链接和外链接进行有效爬取。结果表明,Python在数据采集方面具有较高的有效性和可扩展性。
部分文件列表
| 文件名 | 大小 |
| 基于Python的Web信息获取方法研究.pdf | 1M |
部分页面预览
（完整内容请下载后查看）基于
的
Ｐ ｔｈｏｎ Ｗｅｂ
ｙ
信息获取方法研究
， ，
魏冬梅 何忠秀 唐建梅
（ ，
西华大学 计算机与软件工程学院 四川 成都
）
６１００３９
：
要 随着大数据和云计算等新一代互联网技术的迅速发展
， 。
信息量逐日海量递增 从海量数据中提取有效
Ｗｅｂ
摘
ꢀ
， ， 、 。
信息 挖掘有潜在价值的关系成为当前的研究热点 这对揭示已知规律 预测未知结果有极大的辅助作用 对当前
、 ，
信息获取方法 原理和关键技术进行研究分析 重点阐述了数据采集相关技术中网络爬虫算法的分类与应用
。
Ｗｅｂ
提出一种以
， ，
和相关库为主要工具 结合模块化方法 构建
。
文本信息获取系统框架与流程的策略 案例中
Ｐｔｈｏｎ
ｙ
Ｗｅｂ
， ， ，
通过定义采集函数 实现对给定的维基百科词条 快速搜索与该词条相关信息 对词条内链接和外链接进行有效爬
。
，
。
在数据采集方面具有较高的有效性和可扩展性
Ｐｔｈｏｎ
取
结果表明
ｙ
：
Ｐｔｈｏｎ
ｙ
； ； ；
信息获取 网络爬虫 正则表达式
关键词
：
／
ＤＯＩ１０．１１９０７ｒｄｋ．１７２３０２
ｊ
：
：
Ａ
： （ ）
文章编号
１６７２７８００２０１８００１００４１０３
－ － －
中图分类号
文献标识码
ＴＰ３０１
ꢀꢀꢀꢀꢀ
ꢀꢀꢀꢀꢀ
ＲｅｓｅａｒｃｈｏｆＷｅｂＴｅｘｔＩｎｆｏｒｍａｔｉｏｎＡｃｃｅｓｓＭｅｔｈｏｄＢａｓｅｄｏｎＰｔｈｏｎ
ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ
ｙ
， ，
ＷＥＩＤｏｎ ｍｅｉ ＨＥＺｈｏｎ ｘｉｕ ＴＡＮＧＪｉａｎｍｅｉ
ꢀ
ꢀ
ｇ
－
ｇ
－
ꢀ
－
（
，
，
，
）
Ｓｃｈｏｏｌｏ Ｃｏｍ ｕｔｅｒＳｃｉｅｎｃｅａｎｄＳｏｔｗａｒｅＥｎｉｎｅｅｒｉｎ ＸｉｈｕａＵｎｉｖｅｒｓｉｔ Ｃｈｅｎ ｄｕ６１００３９ Ｃｈｉｎａ
ꢀｆ ꢀ ｆ ꢀ ｇ
ｐ
ꢀ
ꢀ
ｇ
ꢀ
ｙ
ｇ
ꢀ
：
ＡｂｓｔｒａｃｔＡｓｔｈｅｄｅｖｅｌｏ ｍｅｎｔｏｆｂｉ ｄａｔａａｎｄｃｌｏｕｄｃｏｍ ｕｔｉｎ ａｎｉｎｃｒｅａｓｉｎ ｎｕｍｂｅｒｏｆｉｎｆｏｒｍａｔｉｏｎｈａｓｂｅｅｎｂｏｏｓｔｅｄｓｉｎｉｆｉｃａｎｔ
ꢀ ꢀｇ ꢀꢀ ꢀｇ －
，
ｇ
ꢀ
ꢀ
ꢀ
ｐ
ꢀ
ꢀ
ꢀ
ｐ
ｇ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ｌ ．Ｅｘｔｒａｃｔｉｎ ｔｈｅｉｎｆｏｒｍａｔｉｏｎａｎｄｅｘｔｒａｃｔｕｓｅｆｕｌｉｎｆｏｒｍａｔｉｏｎｆｒｏｍｈｕｅａｍｏｕｎｔｓｏｆｄａｔａｅｆｆｅｃｔｉｖｅｌ ｈａｓｂｅｅｎｂｅｃｏｍｉｎ ｔｈｅｃｕｒ
ꢀ ꢀ ｇꢀ ꢀ ꢀ ꢀ ꢀ
ｙ
ｇ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ｙ
ꢀ
ꢀ
ｇ
ꢀ
ꢀ
－
，
，
ｒｅｎｔｈｏｔｓｏｔ．Ｍｏｒｅｏｖｅｒ ｉｔｈａｓｃｏｎｔｒｉｂｕｔｅｄｔｏｒｅｖｅａｌｉｎ ｔｈｅｋｎｏｗｎｒｅｕｌａｔｉｏｎｓａｎｄ ｒｅｄｉｃｔｉｎ ｕｎｋｎｏｗｎｒｅｓｕｌｔｓ．Ｉｎｔｈｉｓ ａｅｒ
ꢀｐｐ
ꢀ
ꢀｐ
ꢀ
ꢀ
ꢀ ꢀ
ｇ
ꢀ
ꢀ
ꢀ ｇ
ꢀ
ꢀｐ
ｇ
ꢀ
ꢀ
ꢀ
，
，
ｔｈｅｃｕｒｒｅｎｔＷｅｂｉｎｆｏｒｍａｔｉｏｎｒｅｔｒｉｅｖａｌｍｅｔｈｏｄ ｔｈｅ ｒｉｎｃｉｌｅａｎｄｋｅ ｔｅｃｈｎｏｌｏ ｈａｓｂｅｅｎａｎａｌｚｅｄａｎｄｔｈｅａｌｏｒｉｔｈｍ ｃｌａｓｓｉｆｉｃａ
ꢀｐ ꢀｇ －
ｐ ꢀ ꢀ ｙ ｇｙ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ｙ
ꢀ
ꢀ
ꢀ
ｔｉｏｎａｎｄａ ｌｉｃａｔｉｏｎｏｆＷｅｂｃｒａｗｌｅｒｉｎｄａｔａａｃｕｉｓｉｔｉｏｎｔｅｃｈｎｏｌｏ ａｒｅｅｍ ｈａｓｉｚｅｄ．Ｔｈｉｓ ａｅｒ ｒｅｓｅｎｔｓａｍｅｔｈｏｄｏｆｃｏｎｓｔｒｕｃｔｉｎ
ꢀ ꢀｐｐ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ｑ ꢀ ꢀｐｐ ꢀｐ ꢀꢀ ꢀ ꢀ
ｇｙ ꢀ ｐ ｇ
ꢀ
，
ＷｅｂｔｅｘｔｉｎｆｏｒｍａｔｉｏｎａｃｕｉｓｉｔｉｏｎｓｓｔｅｍｂａｓｅｄｏｎＰｔｈｏｎａｎｄｒｅｌａｔｅｄｌｉｂｒａｒｉｅｓ．Ｉｎｔｈｅｃａｓｅ ｂ ｄｅｆｉｎｉｎ ｔｈｅｒｅｕｌａｒｅｘｒｅｓｓｉｏｎｓ
ꢀ ｑ ꢀｙ ꢀ ꢀｙ ꢀ ｇ ꢀ ｐ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ｙ
ꢀ
ｇ
ꢀ
，
ａｎｄｃｒａｗｌｉｎ ｆｕｎｃｔｉｏｎ ｉｔｒｅａｌｉｚｅｄｓｅａｒｃｈｉｎ ｆｏｒｔｈｅｒｅｌｅｖａｎｔｉｎｆｏｒｍａｔｉｏｎｏｆｔｈｅｅｎｔｒ ａｎｄｅｆｆｅｃｔｉｖｅｌ ｒｅｔｒｉｅｖａｌｉｎ ｔｈｅｉｎｔｅｒｎａｌ
ꢀ ꢀ
，
ｙ
ꢀ
ｇ
ꢀ
ꢀ
ꢀ
ｇ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ｙ
ꢀ
ｇ
ꢀ
ꢀ
ｌｉｎｋｓａｎｄｔｈｅｅｘｔｅｒｎａｌｌｉｎｋｓ．ＴｈｅｒｅｓｕｌｔｓｓｈｏｗｔｈａｔＰｔｈｏｎｈａｓｓｉｎｉｆｉｃａｎｔｅｆｆｉｃｉｅｎｃ ａｎｄｅｘａｎｓｉｂｉｌｉｔ ｉｎｄａｔａｒｅｔｒｉｅｖａｌ．
ꢀ ꢀｙ ꢀ ꢀｇ ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ｙ
ꢀ
ꢀ ｐ
ｙ ꢀ
ꢀ
ꢀ
：
；
；
Ｋｅ ＷｏｒｄｓＰｔｈｏｎ ｉｎｆｏｒｍａｔｉｏｎａｃｃｅｓｓ Ｗｅｂｃｒａｗｌｅｒ ｒｅｕｌａｒｅｘｒｅｓｓｉｏｎ
ꢀ ｐ
；
ｇ
ｙ
ꢀ
ꢀ
ｙ
ꢀ
。 ，
学领域发挥重要作用 由此可见 获取
信息的技术
Ｗｅｂ
。
显得尤为关键
引言
０
ꢀ
，
互联网提供了大量数据集 但是由于网站本身的多样
信息获取技术
１ Ｗｅｂ
ꢀ
，
化和异构性以及网页文档结构的复杂性 很多数据都被嵌
。
，
入到网 页 结 构 与 样 式 中
信 息 获 取 也 称 为 基 于
信息获取是指从网站上提取信息的一种计算机
Ｗｅｂ
Ｗｅｂ
数据获取 技术 分为 基 于 本 体 的
Ｗｅｂ
。
：
，
软件技术 能将 任 何 可 以 在 浏 览 器 上 显 示 的 数 据 提 取 出
的知识发现
Ｗｅｂ
、 、
数据获取 基于自然语言的数据获取 基于网站查询的数
，
来 因此也称为屏 幕 抓 取 或 数 据 采 集
。
信 息 获 取 是
Ｗｅｂ
、 。
据获取 基于规则和地理位置的数据获取 利用行之有效
， 、
数据挖掘中的一项重要技术 它涉及到计算机网络 文本
， ，
的方法 将可用的信息从海量数据中抽取出来 挖掘潜在
、 、 。 ，
处理 决策分析 人工智能等 多个 领域 其中 基本
Ｗｅｂ
， 、 、 、
价值 将在金融 电信业 舆情监控 数据分析以及其他科
，
文本信息获取和知识发现 包括
、
文本内容获取 结构
Ｗｅｂ
：
收稿日期
２０１７－０８－０８
：
基金项目 西华大学
（
）；
西华大学
（
年教育教学改革项目
２０１６ ２０１６
）
年重点实验室开放基金项目
２０１６
ｓｚ２０１６０４３
ｊｊ
－
：
作者简介 魏冬梅
（
１９８１－
）， ， ， ， 、 ；
女 硕士 西华大学计算机与软件工程学院讲师 研究方向为智能信息处理 数据挖掘 何忠秀
（
１９７４－
），
， ， ， 、 ；
女 硕士 西华大学计算机与软件工程学院副教授 研究方向为计算机应用基础 离散数学 唐建梅
（
１９７５－
）， ， ，
女 硕士 西华
， 、
大学计算机与软件工程学院讲师 研究方向为软件工程 移动互联网开发
。
·
·
软 件 导 刊
年
２０１８
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
４２
［］
２
，
［］
１
、
获取 拓扑获取等
。 ，
该策略虽然 遍历 结 果 较 好 但 存 在 与 完 全
ＰａｅＲ
需要从网站获取所需的非结构化信
问
ｇ
－
，
息数据 分析处理后存储为统一格式的本地数据文件或直
。
计算的重要性相比差异大的情况
ａｎｋ
， 、 、
接存入本地数据库 涉及网络爬虫 数据结构化 正则表达
（）
４ Ｏｉｃ
ｐ
： ，
策略 算 法 开 始 前 每 个 页 面 都 会 被 赋 予 相
［］
３
。
， ，
同数值 当下载了某个页面后 将它拥有的数值平均分配
式等关键技术
网络爬虫工作原理
， ，
给页面中包含的链接 同时清空自己的数值 根据数值大
１．１
ꢀ
，
网络爬虫是一个十分形象的名称 俗称网络蜘蛛或网
， 。
小 优先下载数值较大的网页 该策略的不足之处是可能
，
络机器人 是一种按照规则对
，
信息进行遍历 自动抓
。
导致内容抓取过量
Ｗｅｂ
。 ：
取万维网信息的程序或脚本 网络爬虫通常分为两类 一
数据结构化存储
１．３
ꢀ
，
类是搜索引擎提供商设计的爬虫 这类爬虫会不断地在互
，
互联网具有庞大的信息资源 大多数信息都以无结构
，
联网中利用链接跳转采集页面信息 返回后供搜索引擎建
， 。
的文本形式存在 使得信息归类变得非常困难 结构化数
。 ，
立相应索引 当用户在引擎中输入文字搜索时 引擎即会
据存储是指将大量网页中抽取出来的非结构化信息数据
，
根据输入对信息进行检索 找到接近搜索文字的相关内容
（
， ， ， ，
ｃｓｖ ｓｏｎ ｘｍｌ Ａｃｃｅｓｓ Ｍｓｓｌ
ｑ
以结构 化 方 式 存 储 到 本 地
ｊ
； ，
并返回 另一类是对明确指定的网站进行数据抓取 获得
）， 。
形成统一格式的本地数据的过程 这也是
等
数据
Ｗｅｂ
。
所需信息 这些信息通常是可以公共访问的数据集
。
， 。
采集的主要目的 整个过程基本不需要人工干预 数据最
网络爬虫的主要算法思想是通过
从指定的
Ｉｎｔｅｒｎｅｔ
， ，
终的应用环境决定存储 如果选择数据库 则结构化存储
，
页面内容 以及页面包
Ｈｔｍｌ
种子集合读取
访问的
ＵＲＬ
， ，
通常指行数据 用二维表结构进行逻辑表达 对
数
Ｈｔｍｌ
， ，
含的超级链接 并通过这些链接继续爬取下级子页面 然
，
据进行提取和规范化处理 然后将数组以结构化形式存储
［］
４
。
，
后收集用户信息 进行分类和整理
，
通常有两种情 况
。 、
于相应的数 据 库 系 统 中 这 种 方 式 具 有 速 度 快 准 确 性
，
标签表示超级链接 进一步探测
ａ ｈｒｅｆ
＜ ＞
一是
使用
Ｈｔｍｌ
、 ， ，
高 效率高等优势 再结合多线程技术 速度更是人工所无
， ；
属性 实现跳转到链接目标 二是链接跳转是通过触发了
。
法比拟的
，
，
代码 如 此 不 断 爬 取 下 去 从 而 搜 集 到 更
ＪａｖａＳｃｒｉｔ
相关
ｐ
正则表达式
１．４
ꢀ
。
多数据 网络爬虫结构如图 所示
１
。
，
由各种语义对象所构成的逻辑结构体 根据标
Ｈｔｍｌ
。
记描述对象
文本获取 主要 通过 对
页面进行
Ｈｔｍｌ
Ｗｅｂ
，
解析 爬虫对
，
解析主要通过正则表达式进行匹配
Ｈｔｍｌ
然后使用正则表达式匹配的字符串或使用字符串查找与
，
截取的方法提取数据 依次读取每个需要爬取的字段名称
。
和提取 规 则 例 如 获 取 某 个 站 点 中 提 供 的 国 家 面 积 属
［］
９
，
：
性
关键语句如下
（‘
ｒｅ．ｆｉｎｄａｌｌ
“
＿ ” （ ？） ／
ｔｄｃｌａｓｓ＝ ｗ２ ｆｗ ｔｄ
＞
’， ）
ｈｔｍｌ
．
＜
ꢀ
ｐ
＞
＊
＜
‘
＜
”
＿ ” （ ？） ／ ’
则 是
ｔｄｃｌａｓｓ＝ ｗ２ ｆｗ ｔｄ
＞
其中
．
＊
ꢀ
ｐ
＞
＜
， 。
进行匹配的正则表达式 它为数据获取提供了捷径 考虑
、 ，
到网站内容可能在未来因升级 更新而产生变化 为了使
， ，
匹配更加稳定和健壮 还可以使用模块或第三方库 例如
图
网络爬虫基本结构
１
ꢀ
、
、
、
ＢｅａｕｔｉｆｕｌＳｏｕ ｌｘｍｌ ＨｔｍｌａｒｓｅｒＳｃｒａ
ｐｙ
。
等工具进行解析
ｐ
ｐ
网络爬虫算法比较
１．２
ꢀ
：
、
、
几种爬虫核心算法分别是 广度优先 深度优先
Ｐａｒ
数据获取系统设计
２ Ｗｅｂ
ꢀ
－
。
策略
及
ｔｉａｌＰａｅＲａｎｋ Ｏｉｃ
ꢀ ｇ
ｐ
（）
广度优先搜索策略 按照网页内容目录层次 先爬
１
：
，
， ，
遵循模块化设计思想 将整个系统进行模块划分 每
， ，
取浅目录同一层次页面 爬取完毕后 将提取出的链接放
。
个功能类作为一个功能模块 这样做的优势是一方面便
， ， ，
入队列中 不停向外延伸 尽可能多地获取链接 再深入下
， 。
于代码的维 护 另 一 方 面 可 以 增 加 代 码 的 重 用 性 借 助
。
一层 这种策略的不足之处是进入深层次目录的时间消
， ：
强大的类库 实现各模块的功能 利用
与服
Ｐｔｈｏｎ
ｙ
ｕｒｌｌｉｂ２
。
；
通信数据交互 利用
耗较长
务器进行
和
ｒｅ ＢｅａｕｔｉｆｕｌＳｏｕ
ＨＴＴＰ
ｐ
（） ： ，
深度优先搜索策略 按照深度由低到高的顺序 依
２
。
解析
Ｈｔｍｌ
进行文本提取和
， 。
次访问下一级网页链接 直到深目录 在完成一个爬行分
爬虫功能设计
２．１
ꢀ
， 。
支后返回到上一链接节点 进一步搜索其它链接 当所有
， ，
爬虫通过系统设置的定时任务 被任务激活后 根据定
， 。
链接遍历完毕后 爬行任务结束 这种策略的缺点是在爬
，
规则对原站点的目录进行正则匹配 符合正则匹
ＵＲＬ
义的
。
， ，
链接则进行抓取 然后过滤抓取结果 提取需要
ＵＲＬ
取层次较深站点时资源消耗严重
配的
（）
３ ＰａｒｔｉａｌＰａｅＲａｎｋ
ꢀ ｇ
：
策略 为非完全
，
。 ， ，
的信息 最后 将抓取的信息和数据进行对比 数据库中没
策略
ＰａｅＲａｎｋ
ｇ
，
在工作过程中爬虫只接触到一部分网页 在搜索过程中
，
， ，
有则进行插入更新 有则停止爬虫 其流程如图 所示
２
。
通过计算每 个 已 访 问 页 面 的 值 来 确 定 页 面 价
ＰａｅＲａｎｋ
ｇ
案例实现
２．２
ꢀ
，
值 并 优 先 选 择
， ，
收集维基百科某词条页面 基于
ＵＲＬ Ｐ
ｙ
值 大 的 页 面 中 的 链 接 进 行 访
根据指定
ＰａｅＲａｎｋ
ｇ
－
更多>>
最新上传
- 打赏
- 30日榜单
-
我是蒙帆 打赏1.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic下载 打赏310.00元 3天前
用户：w178191520
-
21ic下载 打赏310.00元 3天前
用户：小猫做电路
-
21ic下载 打赏310.00元 3天前
用户：gsy幸运
-
21ic下载 打赏210.00元 3天前
用户：zhengdai
-
21ic下载 打赏210.00元 3天前
用户：jh0355
-
21ic下载 打赏210.00元 3天前
用户：jh03551
-
21ic下载 打赏210.00元 3天前
用户：xzxbybd
-
21ic下载 打赏70.00元 3天前
用户：铁蛋锅
-
21ic下载 打赏60.00元 3天前
用户：sun2152
-
21ic下载 打赏60.00元 3天前
用户：xuzhen1
-
21ic下载 打赏60.00元 3天前
用户：liqiang9090
-
21ic下载 打赏20.00元 3天前
用户：w1966891335
-
21ic下载 打赏30.00元 3天前
用户：玉落彼岸
-
21ic下载 打赏15.00元 3天前
用户：x15580286248
-
21ic下载 打赏15.00元 3天前
用户：kk1957135547
-
21ic下载 打赏15.00元 3天前
用户：w993263495
-
21ic下载 打赏30.00元 3天前
用户：SkyEagle88
-
21ic下载 打赏25.00元 3天前
用户：hp860629
-
21ic下载 打赏5.00元 3天前
用户：dong2223333
-
21ic下载 打赏10.00元 3天前
用户：dxb3320
-
21ic下载 打赏10.00元 3天前
用户：DXB193394
-
21ic下载 打赏10.00元 3天前
用户：westup
-
21ic小能手 打赏15.00元 3天前
-
21ic小能手 打赏20.00元 3天前
-
21ic小能手 打赏8.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
资料：高频功率放大器设计
-
21ic小能手 打赏5.00元 3天前
资料：基于PID的双轮平衡车
-
21ic小能手 打赏10.00元 3天前
-
21ic下载 打赏310.00元 3天前
用户：w178191520
-
21ic下载 打赏310.00元 3天前
用户：小猫做电路
-
21ic下载 打赏310.00元 3天前
用户：zhengdai
全部评论(0)