积分商城

最新搜索： ispLEVER NE555.PDF multism modelsim 10.4 IP超过下载限制怎样解除 线性电源
您现在的位置是：首页 > 技术资料 > 基于Python的新闻聚合系统网络爬虫研究
推荐星级：
  • 1
  • 2
  • 3
  • 4
  • 5

基于Python的新闻聚合系统网络爬虫研究

更新时间：2019-12-23 22:58:36 大小：2M 上传用户：songhuahua查看TA发布的资源 标签：python网络爬虫 下载积分：1分 评价赚积分 （如何评价?） 打赏 收藏 评论(0) 举报

资料介绍

关 键 词】 网络爬虫 新闻聚合系统


部分文件列表

文件名 大小
基于Python的新闻聚合系统网络爬虫研究.pdf 2M

【关注视频号领20积分】   【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）
应用工程技术  
武汉船舶职业技术学院学报  
年第  
期
１
２０１９  
ꢀ
基于  
的新闻聚合系统网络爬虫研究  
Ｐｔｈｏｎ  
ｙ
左卫刚  
（ ，  
山西管理职业学院 山西临汾市  
）
０４１０５１  
ꢀ
，
、
、
网络爬虫调度器  
摘
要
本研究旨在创建一个能够从不同页面布局中提取数据的开源爬虫 其中包括网络爬虫  
ꢀ
ＡＰＩ  
作为网络爬虫的  
ｐ
ꢀ
。
服务器的实现等 使用  
，
，
提取工具 以  
以及  
语言开发网络爬虫 利用  
Ｓｏｃｋｅｔ  
Ｐｔｈｏｎ  
ｙ
ＢｅａｕｔｉｆｕｌＳｏｕ  
Ｗｅｂ  
。
网络爬虫可以通过利用用户创建的配置文  
ＣＭＳ ＡＰＩ  
，
ＰＨＰ  
，
作为主要后端语言 承载  
为
Ｌａｒａｖｅｌ Ｗｅｂ  
应用程序框架  
和
，
件来适应从不同的页面布局中提取数据 并将提取的数据导出到  
。
文件或数据库系统中  
ＪＳＯＮ  
；
关键词 网络爬虫 新闻聚合系统  
ꢀ
（
）
中图分类号  
文献标志码  
文章编号  
１６７１－８１００２０１９０１－０１２２－０４  
ꢀ ꢀ  
ＴＰ３１９  
ꢀ ꢀꢀ  
Ａ
ꢀ
，
网络中的冗余信息过多 用户阅读不同的信  
是一个用  
ＬｉｎｋＧｒａｂｂｅｒ  
ｙ
编程语言编  
Ｐｔｈｏｎ  
ꢀꢀ  
ꢀ
，
息需要在不同站点之间频繁切换 这无形中增加  
，
写的库 可以用来从网页中提取统一资源定位器  
，
了获取新闻的难度 也增加了时间成本  
。
（ ）， ，  
它有附加的功能 可以在锚标记内提 取  
ＵＲＬ  
。
因此需要构建一个新闻聚合系统从多个来源  
文本  
， 。  
收集新闻 并以特定的格式进行汇总 新闻聚合  
网络爬虫的比较  
１．２  
ꢀ
，
系统中的新闻数据需要通过网络爬虫来获取 这  
：
衡量网络爬虫的性能应从以下指标来考量  
、
、
、
爬虫调度器  
ＣＭＳ ＡＰＩ ｗｅｂ  
其中包括  
爬虫  
ｗｅｂ  
（
ＨＴＭＬ  
爬行能力  
解析器是否可以在安装时自行  
。
和
服务器的实现等  
ｓｏｃｋｅｔ  
）
页面 和处理能力  
（
ＨＴＭＬ  
抓取  
解析器是否  
Ｗｅｂ  
）。  
可以解析格式复杂的  
页面  
ＨＴＭＬ  
工具  
１
ꢀ
表
爬虫的比较  
１
ꢀ
名称  
爬行能力  
处理能力  
网络爬虫  
１．１  
ꢀ
，
轻量级 更新至  
年
２０１７  
，
，
比
月
需 要 另 一 个 库  
来解析  
ＢｅａｕｔｉｆｕｌＳｏｕ  
ｐ
，
网络爬虫是一个特定的机器人 是一种按照  
３
的 爬 行 框  
Ｐｔｈｏｎ  
ｙ
如
Ｓｃｒａ  
ｐｙ  
。
架
，
一定的规则 自动地抓取网络信息的程序或脚本  
。
结构 复 杂 的  
页
ＨＴＭＬ  
。
面
目前主要有以下几个比较实用的工具可以用来抓  
，
高性 能 可 用 于 解 析 格  
：
取网站并提取其内容  
，
需要另一个库 它作  
。
页 面  
式复杂 的  
ＨＴＭＬ  
，
此外 它 还 可 以 利 用 附  
为 一 个 网 络 爬 虫 还  
ＢｅａｕｔｉｆｕｌＳｏｕ  
ｐ
（）  
１Ｓｃｒａ  
ｐｙ  
。
需要进一步的开发  
加的库来快速和灵活 地  
是一 个 用  
编 程 语 言 编 写 的  
Ｐｔｈｏｎ  
ｙ
。
ＨＴＭＬ  
解析  
Ｓｃｒａ  
ｐｙ  
基 于  
，
Ｓｃｒａ  
ｐｙ  
ＢｅａｕｔｉｆｕｌＳｏｕ  
爬 虫 框 架  
支 持 网 页 抓 取 和 页 面 提  
ｐ
ｗｅｂ  
，
高性能 相当  
。
ＬｉｎｋＧｒａｂｂｅｒ  
ꢀ
。
的
。
取
（）  
２ ＢｅａｕｔｉｆｕｌＳｏｕ  
应用程序框架的比较  
１．３ Ｗｅｂ  
ꢀ
ｐ
是用  
编程语言编写的  
ＢｅａｕｔｉｆｕｌＳｏｕ  
Ｐｔｈｏｎ  
ｙ
ｐ
应用程序框架应从以下两 个方面进行  
Ｗｅｂ  
，
解析 器 可 以 用 来 从 网 页 中 提 取 内 容  
，
： （ ，  
比较 速度 在接收客户端请求时 框架返回响应  
ＨＴＭＬ  
。
不能单独用作网络爬虫  
） （ ， 、  
的时间等 和性能 内置 的 功能 如 库 框架 模板  
ＢｅａｕｔｉｆｕｌＳｏｕ  
ｐ
（）  
３ ＬｉｎｋＧｒａｂｂｅｒ  
ꢀ
）。  
等
：
收稿日期  
２０１８－０５－２４  
：
作者简介 左卫刚  
，
男
， ， ：  
讲师 研究方向 计算机软件与理论  
。
１２２  
基于  
的新闻聚合系统网络爬虫研究 左卫刚  
ꢀ
Ｐｔｈｏｎ  
ｙ
表
应用程序框架的比较  
２
ꢀ
Ｗｅｂ  
框架  
速度  
性能  
，
适度 框 架 的 重 点 是 简 单 和  
。
速度 可 以 使 用 诸 如 加 密  
、
、
数据库 查 询 生 成 器 路 由 和  
，
快
框架在处理  
客 户 端 请 求 时  
开销很小  
。
邮件程序等基本功能 更高  
ＣｏｄｅＩｎｉｔｅｒ  
ｇ
，
级的功 能 如 对 象 关 系 映 射  
（ ）、  
名 称 空 间 和 模 板 引  
ＯＲＭ  
。 ，  
擎不 可 用 此 外 单 元 测 试  
。
功能是最小的  
，
优良 有许多内置的特性  
，
例
，
中等 根据特性  
、
如用户 身 份 验 证 库 高 级 路  
，
Ｌａｒａｖｅｌ  
的使用  
、 、  
模板引擎和数据库  
ＯＲＭ  
由
在 收 到 客 户 的  
请 求 时 可 能 会  
有 更 多 的 处 理  
。 ，  
迁移 此 外 它 还 包 括  
Ｌａｒａｖｅｌ  
ＰＨＰ  
，
特性 如名称空间和类自动  
７
。
加 载 它 还 支 持  
ＰＨＰＵｎｉｔ  
。
开销  
。
单元测试框架  
图
系统概况  
１
ꢀ
建议解决方案  
１．４  
ꢀ
。
送通知  
基于  
应用程序框架以及网络爬虫的比  
Ｗｅｂ  
较 我们将使用  
架和  
（）  
是
２ ＬａｒａｖｅｌＲＥＳＴ ＡＰＩ Ｌａｒａｖｅｌ  
框架的一  
ꢀ
ꢀ
，
框架作为其  
Ｌａｒａｖｅｌ  
应用框  
ｗｅｂ  
，
个组件  
间的接口  
（）  
被用作移动客户端与框架之  
ＲＥＳＴ ＡＰＩ  
ꢀ
。
作为其网络爬虫框架 选择  
ＢｅａｕｔｉｆｕｌＳｏｕ  
ｐ
。
，
框 架 是 因 为 与  
，
相 比  
ＣｏｄｅＩｎｉｔｅｒ  
使用  
Ｌａｒａｖｅｌ  
ｇ
新 闻 爬 虫 用 于 从 各 种 来 源 检 索  
３ Ｐｔｈｏｎ  
ｙ
，
特性 它也  
它使用了更现代的体系结构和  
ＰＨＰ７  
，
页面数据 并提取要分析的内容并将其存储  
Ｗｅｂ  
，
有一 个 与 新 闻 聚 合 系 统 的 发 展 相 关 的 功 能 即  
。 ，  
数据库中 要分析新闻文章 爬虫会  
到
Ｍ ＳＱＬ  
ｙ
。
，
也非常简单 因为  
ＡＰＩ  
使用  
创建  
Ｌａｒａｖｅｌ  
ＯＲＭ  
，
请求来发送数据 分  
ＨＴＴＰ  
通过向  
发送一个  
ＡＩ  
。
它具有更高级的路由和单元测试功能  
析的结果将决定提取的消息是否会存储到数据库  
，
对网络爬虫来说 选择使用  
作
ＢｅａｕｔｉｆｕｌＳｏｕ  
ｐ
，
中 或者被丢弃  
。
，
为网络爬虫 因为与  
，
Ｂｅａｕｔｉ  
－
相比  
ＬｉｎｋＧｒａｂｂｅｒ  
ꢀ
（）  
４ Ｍ ＳＱＬ  
ｙ
数据库 是用来存储 和 检索 数据  
。 ，  
不 是 一 个 复 杂 的 框 架 此 外 截 止 到  
ｆｕｌＳｏｕ  
ｐ
，
的数据库系统 之所以使用  
，
是因为该框  
Ｍ ＳＱＬ  
ｙ
，
年
月
５
的开发已经停滞了几  
ＬｉｎｋＧｒａｂｂｅｒ  
ꢀ
２０１７  
，
系 统  
ＯＲＭ Ｐ  
架支 持 本 地  
数 据 库 的  
Ｍ ＳＱＬ  
ｙ
ｙ
－
。
，
性能较高 可用于解析格  
ＢｅａｕｔｉｆｕｌＳｏｕ  
ｐ
个月  
而
，
系统通信  
新闻爬虫还可以直接与  
ｔｈｏｎ  
Ｍ ＳＱＬ  
ｙ
。 ，  
页面 此外 它还可以利 用附  
式复杂的  
ＨＴＭＬ  
。
而不需要使用  
框架作为中间件  
Ｌａｒａｖｅｌ  
。
ＨＴＭＬ  
加的库来快速和灵活地解析  
如图  
展
１
（）  
５ Ｒｅｄｉｓ  
。
服务器是内存中的数据结构系统  
， ，  
示了新闻聚合系统的概况 因篇幅所限 这篇论文  
，
Ｒｅｄｉｓ  
在本研究中  
被用作  
框架和套接服  
Ｌａｒａｖｅｌ  
。
只涵盖了方框内 的部分  
２
。
务器之间的消 息代理 它还被  
用作  
ＲＥＳＴ ＡＰＩ  
ꢀ
，
缓存驱动程序 以减少对  
。
数据库的查询  
Ｍ ＳＱＬ  
ｙ
解决方案设计  
２
ꢀ
（）  
６Ｓｏｃｋｅｔ  
，
的一个实 例 用  
服务是  
Ｎｏｄｅ．ＪＳ  
，
服 务 它 用 于 从  
解决方案架构  
于为 其 客 户 端 提 供  
ＷｅｂＳｏｃｋｅｔ  
２．１  
ꢀ
，
框架 向连接的客户 端广 播数 据 其 使 用  
Ｌａｒａｖｅｌ  
，
系统后端构架如图 所示 每个实体都有自  
２
。
来进行  
实现  
ＷｅｂＳｏｃｋｅｔ  
Ｓｏｃｋｅｔ．ＩＯ  
，
己的功能来支持后端系统的操作 每个模块具体  
：
开发方法  
功能如下  
２．２  
ꢀ
（）  
１ Ｌａｒａｖｅｌ  
，
框架 它可以用  
框架是一个  
ＰＨＰ  
，
这个项目采用了敏捷开发方法 鼓励早期的  
，
以及为移动客户端提供  
ＣＭＳ  
来托管应用程序的  
。 ，  
软件交付给客户 在这种情况下 这允许研究人  
，
ＡＰＩｌａｒａｖｅｌ  
框 架 主 要 将 应 用 程 序 数 据 存 储 在  
，
员为主要客户端提供应用程序的早期测试 主要  
，
数据库中 它还能够将通知数据通过  
Ｍ ＳＱＬ  
ｙ
Ｒｅ  
－
。
新闻分析器 我们  
客户端是移动应用程序和  
ＡＩ  
，
服务器 从而向用户发  
服务器发送到  
ｄｉｓ  
Ｓｏｃｋｅｔ  
１２３  

相关下载

全部评论(0)

暂无评论
评论赚积分>>

上传资源 上传优质资源有赏金

热门标签

更多>>

最新上传

  • 打赏
  • 30日榜单

热门下载

推荐下载

本站上的所有资源均为源于网上收集或者由用户自行上传，仅供学习和研究使用，无任何商业目的，版权归原作如有侵权，请 来信指出，本站将立即改正。

ICP许可证号：京ICP证070360号     21IC电子网 2000- 版权所有

京ICP备11013301号

京公网安备 11010802024343号