积分商城

最新搜索： STM32H743VGT6开发板 Realtek 8811CU Wireless LAN UltraEdit LABVIEW 连接仪器仪表 stm32f407 ads8688例程 软件下载
您现在的位置是：首页 > 技术资料 > 基于Python的可配置网络爬虫
推荐星级：
  • 1
  • 2
  • 3
  • 4
  • 5

基于Python的可配置网络爬虫

更新时间：2019-12-24 10:43:17 大小：1M 上传用户：songhuahua查看TA发布的资源 标签：python网络爬虫 下载积分：1分 评价赚积分 （如何评价?） 打赏 收藏 评论(0) 举报

资料介绍

网络数据形式的多样性与复杂程度都对数据获取造成了很大的影响,常用的网络爬虫已经无法适用于精准的数据查找、获取与分析,而Python语言简单并提供了多线程分布式爬虫框架,使网络爬虫的实现不再那么复杂.可配置网络爬虫通过Python 2.7和Mysql来实现一个多线程爬虫程序,可实现数据抓取并放入数据库功能,只要数量不多的代码就能实现所需要的网络爬虫,使用Python进行可配置爬虫设计成为快速有效的一种选择.


部分文件列表

文件名 大小
基于Python的可配置网络爬虫.pdf 1M

【关注B站账户领20积分】

部分页面预览

（完整内容请下载后查看）
第
卷 第  
期
宁德师范学院学报 自然科学版  
( ꢅ  
30  
4
Volꢄ30 Noꢄ4  
Decꢄ 2018  
年
月
12  
2018  
ꢁ
Journal of Ningde Normal University Natural Scienceꢅ  
基于  
的可配置网络爬虫  
Python  
1
2
苏国新  
苏
聿
，
厦门海洋职业技术学院 福建 厦门  
，
腾讯科技 深圳 有限公司 广东 深圳  
ꢁ ꢂ ，  
（
；
36110ꢀ 2.  
ꢂ
44ꢀ3ꢀꢀ  
1．  
摘要 网络数据形式的多样性与复杂程度都对数据获取造成了很大的影响 常用的网络爬虫已经无法适  
： ，  
用于精准的数据查找 获取与分析 而  
ꢀ ，  
语言简单并提供了多线程分布式爬虫框架 使网络爬虫的实现不  
，
Python  
再那么复杂 可配置网络爬虫通过  
.
和
来实现一个多线程爬虫程序 可实现数据抓取并放入数  
，
ꢁysql  
Python 2.7  
据库功能 只要数量不多的代码就能实现所需要的网络爬虫 使用  
， ，  
进行可配置爬虫设计成为快速有效  
Python  
的一种选择  
.
关键词 网络爬虫 数据抓取  
： ；  
语言  
；
ꢁysql  
数据库  
；
Python  
中图分类号  
文献标识码  
文章编号  
：
2ꢀ95-2481(ꢂ0ꢃ8)ꢀ4-ꢀ364-ꢀ5  
：
：
TP311.1  
A
在当今数据信息爆炸式增长的时代 依靠数据 用数据说话是严谨与科学的理性选择 而建立一种  
， 、  
.
数据体系 要实现的是对数据进行抓取 因为企业对各类数据的分析与应用都必须建立在采集数据的基  
， ，  
础上 只有通过对所需数据进行全面 准确 有效的采集 形成数据规模 对数据进行科学分析 这样得出  
、 、 ， ， ，  
，
的结果才能对企业或政府机构的决策起到指导和借鉴作用 但是 由于万维网上具备海量的数据资源  
，
.
，
网络数据形式的多样性与复杂程度都对数据获取造成了很大的影响 常用的数据爬虫已经无法满足精  
，
准 快速的数据查找 获取与分析 使用  
、 、  
.
自带的模块设计可配置的爬虫程序 可以实现对万维网上  
，
Python  
的指定数据进行精准爬虫与处理 而且数据爬取结果可选择多种存储方式 即可通过爬虫直连数据库的  
， ，  
方式将数据直接写入数据库中 亦可将网页源码爬取下来生成本地版网页 或者将网页中的所需文字爬  
， ，  
取下来生成文本文档进行存储  
.
系统设计思路  
1
可配置爬虫的设计目标是为用户爬取网络数据编写一个程序包 用户可以根据自己的需要调用包  
.
内的程序进行配置以获取所需数据 并将数据存储于数据库中或者生成指定格式的数据文件存储于本  
，
地 为用户提供数据解析 提取 结构化存储等分析工作  
， 、 、  
.
系统可行性分析  
1.1  
要进行可配置爬虫需要选择简单易保存的数据库和可以精确爬虫的语言 本系统采用  
，
语言  
Python  
进行编写 使用  
，
等主流关系型数据库进行数据存储 可快速稳定地完成数据的  
，
、 、  
Mysql Sql server Oracle  
获取与存储 兼容性强  
，
.
本身自带有简易的爬虫脚本且具有许多分布式爬虫框架 能快速高效地进行爬虫 获取数  
， ，  
Python  
据之后  
可以完成以下几个大类的任务  
：
Python  
与外界进行交互  
）
；
1
2
3
4
准备 对数据进行清洗等处理以便进行分析  
， ；  
）
）
）
转换 对数据集进行数学和统计运算以产生新的数据集  
，
；
建模和计算 将数据与统计模型 机器学习算法或其他计算工具联系起来  
， ꢀ ；  
收稿日期  
：
2ꢀ18-ꢀ9-ꢀ8  
作者简介  
苏国新  
男 副教授  
ꢂ， ，  
ꢄ E-mail 11ꢀ389ꢀ877@qqꢄcomꢄ  
：
ꢁ
：
1962-  
- 365 -  
苏国新等 基于  
：
的可配置网络爬虫  
Python  
第
期
4
展示 创建交互式或静态的图片和文字摘要  
，
）
5
.
本系统具有代码数量少 开发周期短等特点 且由于  
、 ，  
的跨平台性 因此不需要多平台开发  
，
.
Python  
基于  
环境还可设置自动化定时脚本 无需运维人员手工操作 减少了运维所需的人工成本 系统  
， ， ，  
Linux  
设计具有技术可行性和经济可行性双重优势  
.
系统结构分析  
1.2  
本文介绍的  
网络爬虫主要包含以下五个模块  
.
Python  
数据获取模块 主要包括网页数据的获取  
：
接口数据的获取  
、
xml  
数据的获取等 系统对获取的  
.
）
、
json  
1
数据进行分析并提取指定位置的数据 并将其保存到指定的关系型数据库 如  
， （  
中
）
.
、 、  
Mysql Sql server Oracle  
多线程处理模块 包括对网络数据获取进行多线程处理 提高爬虫速度 减少等待时间  
： ， ，  
）
2
.
异常处理模块 包括对执行出错代码的报出处理及根据爬虫运行情况生成日志文件 方便使用  
： ，  
）
3
者开展运行维护和纠错  
.
数据存储与操作模块 设置数据库连接参数 将处理后的数据通过连接存入数据库中 用户也  
： ， ，  
）
4
可以选择批量插入或使用  
语句自定义插入数据库 实现对数据库操作  
，
.
Sql  
配置文件模块 对需要的配置进行存放 同时设置  
： ，  
方法 允许用户对配置进行修改 数据库连接参  
，
.
）
5
set  
数等信息设置完成后 程序会自动生成相应链接 无需手动导入 本文所述网络爬虫系统结构如图 所示  
，
.
，
.
1
可配置网络爬虫  
▼
▼
▼
数据获取模块  
异常处理  
多线程  
▼
▼
▼
▼
▼
▼
▼
抓
取
模
块
多
线
程
网
页
请
求
多
线
程
网
页
数
据
获
取
执
行
日
志
错
误
原
因
xml  
json  
数
数
据
获
取
据
获
取
▼
数据存储  
图
网络爬虫系统结构图  
1
系统功能分析  
1.3  
根据设计要求 可配置爬虫应具有以下 种功能  
，
5
.
获取网页源码 该功能为网络爬虫的一个基本功能 用户只需要配置网址便可获取源码 还可以  
： ， ，  
）
1
根据需要配置头文件 该功能可以简化用户操作 方便对爬虫尚不精深的用户使用爬虫 减少用户学习  
， ，  
.
爬虫的时间与人工成本  
.
数据处理功能 在网络爬虫中 数据处理是最主要的功能 它决定了用户是否能够得到所需要的  
： ， ，  
）
2
指定数据 并成功爬取数据 去除无用数据 系统获取的网页数据是繁杂且海量的 如何对需求数据进行  
， ， ，  
.
指定获取并处理 是爬虫需要解决的关键问题  
，
.
将数据存入数据库 该功能主要用于数据的存储 用户可方便地配置数据库信息 并将爬取的数  
： ， ，  
）
3
据存入数据库中 以便后期数据的调用与分析  
，
.
异常处理 该功能主要是对发生的错误信息进行响应和处理 便于发现错误和修改错误 避免因  
： ， ，  
）
4
为错误而导致程序执行出错 不断提高系统的可靠性 改善用户体验  
， ，  
.
多线程处理功能 网络爬虫时经常会遇到网页响应速度慢等问题 进行多线程处理可以增加数  
： ，  
）
5
据爬取速度与效率  
.

相关下载

全部评论(0)

暂无评论
评论赚积分>>

上传资源 上传优质资源有赏金

热门标签

更多>>

最新上传

  • 打赏
  • 30日榜单

热门下载

资料专题

推荐下载

本站上的所有资源均为源于网上收集或者由用户自行上传，仅供学习和研究使用，无任何商业目的，版权归原作如有侵权，请 来信指出，本站将立即改正。

ICP许可证号：京ICP证070360号     21IC电子网 2000- 版权所有

京ICP备11013301号

京公网安备 11010802024343号