积分商城

最新搜索： 华为技术设计指南资料 PCB 嵌入式操作系统 AT1846S 2u/4qup6 机器人主板
您现在的位置是：首页 > 技术资料 > 基于Python的分布式网络爬虫系统的设计与实现
推荐星级：
  • 1
  • 2
  • 3
  • 4
  • 5

基于Python的分布式网络爬虫系统的设计与实现

更新时间：2019-12-24 18:14:46 大小：2M 上传用户：songhuahua查看TA发布的资源 标签：python分布式网络爬虫系统 下载积分：1分 评价赚积分 （如何评价?） 打赏 收藏 评论(0) 举报

资料介绍

现在人们和网络有着密不可分的联系,人们从网络上可以获取丰富的信息。但是存在用户很难在大量信息中准确挖掘自身需要信息的情况,因此如何从网络上丰富的信息中找到自己最需要的信息是用户很重视的一个问题。网络爬虫是一项能够自动对信息进行提取筛选的程序,但是其中也存在着一些爬虫系统收集信息效率低、没有良好的扩展性能等问题,网页数据爬取效率和数据选择的速度是当前爬虫系统需要优化的几个方面。根据当前网络信息特点,本文将会对Python的分布式网络爬虫系统的设计和实现做出简介,并且将此作为对传统文件共享形式的一种补充,也是一种新的尝试。


部分文件列表

文件名 大小
基于Python的分布式网络爬虫系统的设计与实现.pdf 2M

【关注视频号领20积分】   【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）
网络天地  
Network World  
•
基于 Python 的分布式网络爬虫系统的设计与实现  
文/逄菲  
2 Python介绍  
现在人们和网络有着密不可  
分的联系，人们从网络上可以获  
取丰富的信息。但是存在用户很  
难在大量信息中准确挖掘自身需  
要信息的情况，因此如何从网络  
上丰富的信息中找到自己最需要  
的信息是用户很重视的一个问题。  
网络爬虫是一项能够自动对信息  
进行提取筛选的程序，但是其中  
也存在着一些爬虫系统收集信息  
效率低、没有良好的扩展性能等  
问题，网页数据爬取效率和数据  
选择的速度是当前爬虫系统需要  
优化的几个方面。根据当前网络  
信息特点，本文将会对Python的  
分布式网络爬虫系统的设计和实  
现做出简介，并且将此作为对传  
统文件共享形式的一种补充，也  
是一种新的尝试。  
摘
要
Python 语言属于语法比较简洁清晰的开  
源编程式语言，最具特色的就是其用 white  
space 作为语句的缩进。Python 具有标准库和  
第三方库，每一个内容都十分的丰富。胶水语  
言是对它最形象的称呼，因为它可以很快的和  
其他的语言制作模块联合在一起，对信息的扩  
展有着促进作用。使用 Python 快速生成程序  
原型或者程序的最终界面是 Python 最常见的  
一种应用，然后通过利用更合适的语言将其中  
有特别要求的部分进行修改。在进行 Python  
语言使用之前，需要搭建一个稳定的环境。到  
正规的官网去进行 Python 的下载，并且要下  
载用户所需要的特定系统，安装完成后对环境  
变量做好处理，方便 Python 的正常启动。用  
户还可以根据自己的喜爱选择一款适宜的编辑  
工具来进行爬虫的编写。目前 Python 的版本  
主要有两个，其主要在模块、运行、编码、语  
言上存在着差距。利用 Python 爬虫主要有一  
下这些有点：第一是其语言简单明了，操作方  
法简单；第二是 Python 程序能够提供功能极  
其强大的爬虫框架结构；还有一点则是其具有  
良好的网页解析器还有强大的网络支持库。  
图1  
库都导入。图 1 是一些代码和相关的注释。  
对于爬取的结果需要做到及时的整理。爬  
虫将资料从网页当中提取出来后，对于数据也  
需要进行保存，Python 提供的保存数据的方法  
有：保存到本地的数据库当中，或者保存到储  
存的磁盘当中。该爬虫对于招聘信息进行本地  
保存的时候需要将文件的格式存为 .XLS 文件。  
3.2 改进和完善  
【关键词】Python 分布式网络 爬虫系统  
上面所讲到的爬虫操作只能对网页上的  
首要位置的招聘信息进行爬取，如果想要对所  
有的信息进行爬取，则需要对网页 URL 地址  
规律进行分析，并且使用 for 循环进行对信息  
的循环提取，最后则进行分析比较。  
3 爬虫的案例  
大数据时代下，信息的传播和分享是人  
们交流和交往最需要的，信息的传播和分享能  
够有效的创造效益。在信息发达的今天，每条  
信息和其背后所牵扯到的东西都是大数据所组  
成的部分。因此，人们对信息的分享和传播越  
来越重视，在人们对传播的信息进行提取时，  
对消息是否有效十分关注。在平时的生活和工  
作中，通过组建一个安全、开放、智能的系统  
进行信息分享，对完成工作的效率有很大的提  
高，还一定程度节约了工作成本。  
本文将通过实质性的爬虫案例进行介绍，  
案例当中是一个常见的聚焦性爬虫程序，将用  
户需要的信息归纳到文件中。该爬虫功能是对  
互联网上关于互联网职位信息的收集爬取，对  
招聘信息也加以保存在文档中。  
4 结语  
在现今的大数据时代下，用户对数据信  
息的需求量越来越大，对相关数据进行有效的  
分析并且还可以提供有力的依据给所要进行的  
决策。爬虫技术的应用有很多，对于网络舆情  
的分析还有网络犯罪线索的发现都可以使用爬  
虫技术去操作，其应用前景十分广泛。  
3.1 解决爬虫的三大问题  
爬虫三大问题包括 where what how，确定  
好爬的位置，抓准爬取的页面，对于这个问题  
的解决则需要通过对用户的需求进行分析再决  
定，爬什么则是根据上面的页面进行分析，确  
定需要的数据，将其中的信息提取出来，对于  
怎么对信息进行提取的问题，则是需要使用  
Python 具有丰富资源的标准库和强大的第三方  
库完成，怎样爬是爬虫的核心部分，特别是其  
中的对网页的解析，可以使用 lxml、正则表达  
式等进行网页解析，不同的方法都有着自己的  
优点，使用时则需要根据用户的熟练度还有需  
要进行合适方法的选择。  
1 爬虫技术简介  
网络蜘蛛是网络爬虫的另一个说法，这  
是一个可以对网页信息进行提取的程序，可以  
模仿游览器查询网络资料，给出用户所需要的  
信息，并且它还是搜索引擎的重要组成部分，  
可以进行网页信息下载。  
参考文献  
[1]刘泽华,赵文琦,张楠.基于Scrap技y  
术的分布式爬虫的设计与优化[J].信息  
技术与信息化,2018(Z1)：121-126.  
[2]高强.基于Redis的分布式爬虫框架的设  
计[J].农业网络信息,2017(08)：12-14.  
[3]孟军,覃海奎,刘洁,甘宇健.分布式网  
络爬虫设计研究[J].现代计算机(专业  
版),2017(24)：62-65.  
网络爬虫可以分为通用性爬虫、聚焦性  
爬虫、增量型爬虫、深层爬虫，通用性的爬虫  
就是全网爬虫，其特点是对储存量的要求十分  
的高，还要求具有很快的存储速度；聚焦性爬  
虫指的就是对某一方面进行专注的爬虫，根据  
所给的关键词进行固定的信息搜索；增量型爬  
虫则是间隔性的信息收集，一定的时间过后重  
新爬取进行数据的更新 ; 深层爬虫通过登录提  
交数据，之后才能进入页面提取信息。利用网  
络爬虫用户可以对网络中的一些信息进行快速  
的保存。例如在进行对图片的保存时，如果需  
要保存的图片量比较大，那么操作起来就不是  
很容易，利用网络爬虫来进行操作就可以减轻  
工作量，进行自动化的处理，从而使得图片的  
保存快速高效。并且爬虫还可以获得很多的额  
外知识，对决策等提供相关的依据。  
3.2 具体实施  
[4]孙艺乘,张建敏.大数据数字媒体时代网  
络爬虫技术下的精准招商[J].贵州大学  
学报(自然科学版),2017,34(02)：80-84.  
此爬虫操作系统主要包括三个模块，分  
别是数据存储模块、页面抓取模块、页面分析  
模块，这三个模块互相协助，一起完成对网络  
信息数据的收集和抓取。  
作者简介  
此爬虫案例的主要操作则是首先打开某  
个信息网招聘网页，爬虫操作中主要处理的对  
象就是此网站的 URL，打开互联网的职位页  
面对其网页的源代码进行分析，将其复制。例  
如页面的公司信息、招聘要求、薪资待遇等进  
行分析。然后要确定好爬虫的方法，导入程序  
中所需要的库当中去。向终端服务器发出请求，  
打开对应的网页，对整个爬虫过程中所需要的  
逄菲(1986-)，女，辽宁省辽阳市人。大学本  
科学历。贵州轻工职业技术学院信息工程系，  
职称ꢀ讲师。研究方向为主要从事软件技术教  
学相关工作。  
作者单位  
贵州轻工职业技术学院  
550002  
贵州省贵阳市  
电子技术与软件工程ꢀꢀ  
Electronic Technology & Software Engineering  
6 ·  

相关下载

全部评论(0)

暂无评论
评论赚积分>>

上传资源 上传优质资源有赏金

热门标签

更多>>

最新上传

  • 打赏
  • 30日榜单

热门下载

推荐下载

本站上的所有资源均为源于网上收集或者由用户自行上传，仅供学习和研究使用，无任何商业目的，版权归原作如有侵权，请 来信指出，本站将立即改正。

ICP许可证号：京ICP证070360号     21IC电子网 2000- 版权所有

京ICP备11013301号

京公网安备 11010802024343号