积分商城

最新搜索： 滤波器 multism STC LINK1D 4岁 线性电源 加密芯片
您现在的位置是：首页 > 技术资料 > 基于Python的51-job数据抓取程序设计
推荐星级：
  • 1
  • 2
  • 3
  • 4
  • 5

基于Python的51-job数据抓取程序设计

更新时间：2019-12-24 16:10:46 大小：2M 上传用户：songhuahua查看TA发布的资源 标签：python数据抓取 下载积分：1分 评价赚积分 （如何评价?） 打赏 收藏 评论(0) 举报

资料介绍

为了快速地获取职位信息,根据“前程无忧”的网页特点,设计了3种基于Python的爬虫程序,进行职位相关数据的抓取。通过对关键字的提取,匹配符合条件的职位信息,并且抓取相关内容存入Excel文件中,便于寻找相关职位信息及具体要求。实验结果表明:该程序能够快速且大量地抓取相关职位信息,针对性强,简单易读,有利于对职位信息的进一步挖掘及分析。


部分文件列表

文件名 大小
基于Python的51-job数据抓取程序设计.pdf 2M

【关注视频号领20积分】   【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）
－
doi: 10．3969 /j．issn．1003 3114．2018．04．21  
－
51 job  
－
，2018，44( 4) : 416 419．  
无线电通信技术  
: ， ， ， ．  
引用格式 崔玉娇 孙结冰 祁晓波 等 基于  
Python  
［J］．  
数据抓取程序设计  
的
－
［CUI Yujiao，SUN Jiebing，QI Xiaobo，et al．Design on 51 job Data Scraping Program Based on Python ［J］．Radio Communications  
－
Technology，2018，44( 4) : 416 419．］  
－
51 job  
数据抓取程序设计  
Python  
基于  
的
， ， ， ，  
崔玉娇 孙结冰 祁晓波 凌 强 朱 勇  
(
，
黑龙江大学 电子工程学院 黑龙江 哈尔滨  
150080)  
:
， “ ” ， 3  
为了快速地获取职位信息 根据 前程无忧 的网页特点 设计了 种基于  
Python  
，
的爬虫程序 进行职位  
摘
要
。 ， ，  
相关数据的抓取 通过对关键字的提取 匹配符合条件的职位信息 并且抓取相关内容存入  
Excel  
，
文件中 便于寻找相  
。 : ， ， ，  
关职位信息及具体要求 实验结果表明 该程序能够快速且大量地抓取相关职位信息 针对性强 简单易读 有利于对  
。
职位信息的进一步挖掘及分析  
: Python;  
; ;  
爬虫 职位 前程无忧  
关键词  
－ － －  
: 1003 3114( 2018) 04 0416 04  
: TN911．7  
: A  
中图分类号  
文献标志码  
文章编号  
Design on 51-job Data Scraping Program Based on Python  
CUI Yujiao，SUN Jiebing，QI Xiaobo，LING Qiang，ZHU Yong  
( School of Electronic Engineering，Heilongjiang University，Harbin 150080，China)  
Abstract: In order to obtain job information quickly，according to the characteristics of web pages with“Worry-free Future”，three  
kinds of Python-based crawler programs are designed to capture job-related data． Through the extraction of the keywords，the job  
information is matched，and the relevant content is captured in an Excel file，so that the related job information and specific  
requirements can be easily found． The experimental results show that this program can quickly and massively capture relevant job  
information，and it is highly targeted and easy to read，which is conducive to further mining and analysis of job information．  
Key words: Python; crawler; position; Worry-free Future  
0
、 、 、 、 、  
工作名称 标题 地点 公司名称 待遇范围 工作内  
引言  
，
随着互联网时代的高速发展 大量的数据可以通  
、 。  
容 招聘网址以及发布日期 并将获得的信息保存在  
，
过互联网来获得 可以足不出户就能获知世界上的千  
， 。  
本地 以供后续的数据挖掘及分析 本文的爬虫程序  
［1］  
。 ，  
我们可以在互联网上获取招聘信息 而不  
3 ，  
包含 种爬虫的方法 包括  
Re、XPath、BeatuifulSoup，  
变万化  
、 ，  
再局限于报纸 杂志等纸质媒介 这使得求职者可以  
，
用户可以自行选择想要的爬虫方法 并且输入职位的  
。 9  
快速有效地获得心仪的招聘信息 每年的 月和  
， ，  
关键词 通过关键词匹配 获得相应的职位信息  
。
4
，
月都是毕业生找工作的高峰时期 快速有效地获得  
1
相关概念  
。 ，  
招聘信息成为求职过程中关键一步 为此 本文设计  
1．1 Python  
语言  
python  
，
的爬虫程序 目前国内比较著名的  
了一款基于  
Python  
、 ，  
语言语法简单清晰 功能强大 容易理  
“ ”“  
求职软件有 智联招聘 前程无忧  
”“58  
” ，  
同城 等 本  
。
Windows、Linux  
;
等 操 作 系 统 上 运 行  
解
可 以 在  
“ ”  
文主要对 前程无忧 的招聘信息进行抓取并分析  
。
Python  
， 、  
是一种面向对象的语言 具有效率高 可简单  
－
［3 4］  
，
现有的数据抓取程序抓取方式单一 用户不能选择最  
。Python  
地实现面向对象的编程等优点  
是一种  
Python  
，
快的抓取方法 该程序针对此问题进行了进一步的优  
， ，  
脚本语言 语法简洁且支持动态输入 使得  
， 3 ， ，  
化 设计 种数据抓取的方法 用户可自行选择 并且  
在很多操作系统平台上都是一个比较理想的脚本语  
［5］  
， 。  
可以输入关键字 匹配招聘信息的地点 设计更合  
，
言 尤其适用于快速的应用程序开发  
。Python  
包
［2］  
，
理 则用户使用体验效果会更好  
。
括针对网络协议的各个层次进行抽象封装的网络协  
，
本文提出的程序通过爬虫获取职位信息 包括  
:
，
议标准库 这使得使用者可以对程序逻辑进行进一  
。
步的优化 其次  
，Python  
非常擅长处理字节流的各  
－ －  
: 2018 04 20  
收稿日期  
416  
Radio Communications Technology  
Vol. 44 No. 4 2018  
－
［6 7］  
，
种模式 具有很快的开发速度  
。
。 ，  
过滤逻辑 正则表达式是一种文本模式 模式描述在  
1．2  
。
网络爬虫  
搜索文本时要匹配的一个或多个字符串  
［8］  
，
根据上文获取的网页信息 可以将所需信息的  
( Web Crawler) ，  
网络爬虫  
是一种按照一定的  
Re  
，
表示出来 其中  
:
字符串用  
，
规则 自动提取  
Web  
，
网页的应用程序或者脚本 它  
=
‘＜span class " dw_c_orange" ＞( ?: \ d) ＜ /span＞．* ? /．  
，
是在搜索引擎上完成数据抓取的关键一步 可以在  
+
* ? ( \d ) ’  
#
获取当前页数  
Internet  
。 Internet  
上下载网站页面 爬虫是为了将 上  
=
‘＜span＞．* ? ＜a( ?: ．* ?) title " ( ．* ?) " ’#  
－
［9 10］  
获取职位  
，
的网页保存到本地 以供参考  
。
爬虫是从一个  
名称  
=
‘＇＜span＞．* ? ＜a( ?: ．* ?) href " ( ．* ?) " ’#  
URL，  
通过分析页面源文件的  
或多个初始页面的  
获取职位  
URL， ， ，  
抓取新的网页链接 通过这些网页链接 再继  
网址  
‘＜span class " t2" ＞．* ? ＜a( ?: ．* ?) title " ( ．* ?) " ’#  
获取公司名称  
‘＜span class " t3" ＞( ．* ?) ＜ /span＞ ’#  
［11］  
， ，  
反复循环 直到抓取和分  
续寻找新的网页链接  
=
=
。 ，  
析所有页面 当然这是理想情况下的执行情况 根  
，
据现在公布的数据 最好的搜索引擎也只爬取整个  
=
获取工作地点  
［12］  
。
=
‘＜span class " t4" ＞( ．* ?) ＜ /span＞’#  
互联网不到一半的网页  
获取工资  
=
‘＜span class " t5" ＞( ．* ?) ＜ /span＞’#  
获取工作发布的  
2
程序设计  
日期  
5 ，  
本文的爬虫程序主要分为 个模块 首先根据  
=
‘＜div class " bmsg job_msg inbox" ＞( ．* ?) ＜div’#  
获取  
Request URL ， Re、  
获取需要爬取数据的页面 通过  
职位的详细信息  
XPath、BeautifulSoup  
，
三种方法 利用关键词筛选符  
，
通过获取的日期 用户可以了解最新的职位信  
， 、 、  
合条件的职位信息 其中包括工作名称 标题 地点  
、
。
，
根据职位的详细信息 求职者可以快速地了解  
息
、 、 、  
公司名称 待遇范围 工作内容 招聘网址以及发布  
。
到公司的要求以及职位的相关工作信息 通过上述  
， ，  
日期 并保存在本地 以便后续的数据挖掘及分析  
。
，
的正则表达式获取的信息 存入本地的  
Excel  
，
文件  
2．1  
获取网页信息  
。
方便求职者查看  
，
爬取网页信息之前需要获取网页的信息 并从  
2．4 XPath  
程序设计  
。
中找出需要的信息进行抓取 首先打开  
Chrome  
浏
XPath  
XML  
，
路径语言 它是一种用来确定  
即为  
， ， ，  
览器 进入前程无忧的网页 打开开发者选项 找到  
XML(  
置的语言  
类型的节点 包括元素节点 属性节点和文本节点  
XPath  
)
标准通用标记语言的子集 文档中某部分位  
network，  
获取  
URL  
head-  
以及请求头中的  
其中的  
［16］  
［13］  
。XPath  
XML  
，
的树状结构 有不同  
基于  
ers  
。
preview  
，
中可以看到当前网页的源代码  
在
，
、
，
，
可以从源代码中找到需要爬取的信息 即工作名称  
、
。
提供在数据结构树中找寻节点的能力 起初  
、 、 、 、 、  
标题 地点 公司名称 待遇范围 工作内容 招聘网  
、
的提出的初衷是将其作为一个通用的 介于  
XPointer  
，
址以及发布日期 并找出当前页与下一页的  
offset  
XSLT  
。
间的语法模型 但是  
XPath  
很快地被开发  
与
，
值 以便在以下的爬虫设计中使用  
。
。
者采用来当作小型查询语言  
XPath Re  
2．2  
主程序设计  
BeautifulSoup、XPath、Regex  
，Re ，  
语言容易出错  
相对于  
简单一些  
将
三种方法的文件  
，
导致 无 法 正 确 地 获 得 需 要 的 信 息 通 常 可 以 在  
， ，  
名打包成字典 并标上序号 设计进入程序的页面  
，
Chrome XPath Helper  
中添加  
源代码是直接复制成  
，
插件 可以在查看网页  
，
在页面上显示提示信息 请用户选择一种爬虫方法  
，
XPath  
，
的格式 方便且通常不  
， ，  
根据用户的选择 进入对应的程序 待用户输入需要  
。
容易出错  
，
查询的职位关键词之后启动爬虫程序 开始抓取数  
［14］  
XPath  
， :  
程序中 其中  
在
。
，
在抓取完毕之后 提示用户数据抓取完毕  
，
据
=
=
‘div［@ class " rt"］/span［@ class " dw_c_orange" ］’#  
获取当前页数  
div［@ id ＇resultList＇］/div［@ class ＇el＇］’#  
，
以保存至本地文件 以供用户的使用及分析  
。
2．3 Re  
程序设计  
=
=
‘
∥
获取工  
( Re)  
正则表达式  
(
(
是对字符串 包括普通字符 例  
) ( “ ”) )  
之间的字母 和特殊字符 称为 元字符  
作列表  
=
‘． /p［@ class ＇t1 ＇］/span/a’#  
，a～z  
如
获取工作名称  
，
操作的一种逻辑公式 就是用事先定义好的一些特定  
=
‘． /p［@ class ＇t1 ＇］/span/a/attribute: : href’#  
获取职位  
， “  
字符及这些特定字符的组合 组成一个 规则字符  
链接  
‘． /span［@ class ＇t2＇］/a/text( ) ’#  
获取公司名称  
［15］  
=
”
串
， “ ”  
这个 规则字符串 用来表达对字符串的一种  
2018  
44  
4
卷第 期  
417  
无线电通信技术  
年第  

相关下载

全部评论(0)

暂无评论
评论赚积分>>

上传资源 上传优质资源有赏金

热门标签

更多>>

最新上传

  • 打赏
  • 30日榜单

热门下载

推荐下载

本站上的所有资源均为源于网上收集或者由用户自行上传，仅供学习和研究使用，无任何商业目的，版权归原作如有侵权，请 来信指出，本站将立即改正。

ICP许可证号：京ICP证070360号     21IC电子网 2000- 版权所有

京ICP备11013301号

京公网安备 11010802024343号