积分商城

最新搜索： SI4732 通信导航 渐明渐暗 pads9.5 烟雾传感器 fanuc ladder pmc
您现在的位置是：首页 > 技术资料 > Python语言中re库的使用技巧与目标网络数据的抓取
推荐星级：
  • 1
  • 2
  • 3
  • 4
  • 5

Python语言中re库的使用技巧与目标网络数据的抓取

更新时间：2019-12-24 10:59:12 大小：4M 上传用户：songhuahua查看TA发布的资源 标签：python网络数据获取网络爬虫 下载积分：1分 评价赚积分 （如何评价?） 打赏 收藏 评论(0) 举报

资料介绍

在大数据的时代背景下,为了能够准确有效的获取网络数据,定向抓取相关网页数据的网络爬虫应运而生。python是网络爬虫首选的程序设计语言,它拥有着丰富且强大的库,能够简洁有、效的实现目标网络数据的获取,其中re库是一个用来提取目标数据的优秀的python库。为了深入学习re库的使用方法,首先了解正则表达式的概念和语法,从而更好地理解python语言的re库,深入探究re库的使用技巧,包括使用原理、功能函数等。介绍目标网络爬虫原理、网络数据抓取的一般流程,以及re库在获取目标网络数据中的应用。最后以某某劳动力市场为例实现目标网络数据的获取。


部分文件列表

文件名 大小
Python语言中re库的使用技巧与目标网络数据的抓取.pdf 4M

【关注B站账户领20积分】

部分页面预览

（完整内容请下载后查看）
第
卷第  
期
贺 州 学 院 学 报  
年 月  
9
35  
3
2019  
Vol.35 No.3  
JOURNAL OF HEZHOU UNIVERSITY  
Sep. 2019  
Python 语言中 re 库的使用技巧与  
目标网络数据的抓取  
1
沈承放 ，莫达隆  
2
（1.广西师范大学 数学与统计学院，广西 桂林 541004；  
2.贺州学院 数学与计算机学院，广西 贺州 542899）  
［摘 要］在大数据的时代背景下，为了能够准确有效的获取网络数据，定向抓取相关网页数据的网络爬  
虫应运而生。  
python  
是网络爬虫首选的程序设计语言，它拥有着丰富且强大的库，能够简洁有、效的实现目标  
网络数据的获取，其中 库是一个用来提取目标数据的优秀的  
re  
库。为了深入学习 库的使用方法，  
re  
python  
首先了解正则表达式的概念和语法，从而更好地理解  
语言的 库，深入探究 库的使用技巧，包括  
re re  
python  
使用原理、功能函数等。介绍目标网络爬虫原理、网络数据抓取的一般流程，以及 库在获取目标网络数据  
re  
中的应用。最后以某某劳动力市场为例实现目标网络数据的获取。  
［关键词］  
； 库；网络数据获取；网络爬虫  
python re  
［中图分类号］  
TP311.1  
［文献标识码］A  
［文章编号］1673—8861（2019）03—0151—06  
1
引
言
正则表达式是对字符串操作的一种逻辑公式，  
用事先定义好的一些特定的字符和这些特定字符  
的组合来组成一个有着某种特定规则的字符串，这  
个具有一定规则的字符串是用来表达对字符串的  
一种过滤逻辑。因此正则表达式被广泛应用于文本  
处理，它可以查找或者替换符合一个规则形式下的  
文本，也可以用来匹配字符串。  
python 是一种面向对象的解释型计算机程序设  
计语言，它操作方式简洁，开发效率高，具有丰富、  
强大的库。现已被广泛用于 web 和 Internet 开发、软  
件开发、统计计算等领域，成为全世界最受欢迎的  
程序设计语言之一。python 也是公认的网络爬虫首  
选程序设计语言，网络爬虫，顾名思义就是一个可  
以将网络信息爬取下来的“虫子”，实质上网络爬虫  
是一段用来获取目标网络数据的程序或者脚本。在  
网络爬虫中，python 中的 re 库拥有着重要地位，主  
要用于目标数据信息提取，它可以通过对目标数据  
进行字符串搜索并以列表的形式返回全部匹配的  
字符串的方式来实现目标数据的提取。  
正则表达式也是用来简洁表达一组字符串的  
表达式，传统的一组字符串的表达方式就是将它们  
一一列举出来，但是当一组字符串非常多的时候，  
这种方法就会变得很繁琐，正则表达式的出现就是  
为了简化这种复杂的表达。正则表达式可以将一组  
很长的字符串用一小行式子来表示。它主要表达的  
是简洁的思想。  
学者们对于 re 库的研究主要在于网络爬虫的  
实战应用，而全面、具体的功能介绍以及使用方法  
却寥寥无几，因此为了让用户能够更加全面、完整  
的认识 python 的 re 库，介绍 re 库的原理、使用技  
巧，及其在网络数据抓取中的应用方法。  
2.1.2 正则表达式常见匹配模式  
正则表达式是由字符和操作符构成的，例如国  
内的电话号码的正则表达式为“\d{3}-\d{8}|\d{4}-\  
{7，8}”，其中“\d”、“|”等就是正则表达式的操作符，  
每个操作符都具有一定的匹配功能。下表为正则表  
达式常用的匹配模式及其说明。  
2
re 库的功能及其在网络爬虫中的应用  
2.1 正则表达式  
2.1.1 正则表达式概念  
［收稿日期］  
2019-07-23  
［作者简介］沈承放（ ），男，辽宁盖州人，广西师范大学  
1996-  
级硕士研究生。主要研究方向：数理统计、数据挖掘。  
2018  
［基金项目］  
2018  
年国家社会科学基金西部项目“基于数据挖掘的农村居民人均可支配收入数据质量评价体系的构建”  
（ ）；  
18XTJ002 2019  
年广西研究生教育创新计划项目“精准扶贫形势下农民收入调查研究”（ ）。  
XYCSZ2019088  
- 151 -  
第
卷第  
期
贺 州 学 院 学 报  
年 月  
9
35  
3
2019  
Vol.35 No.3  
JOURNAL OF HEZHOU UNIVERSITY  
Sep. 2019  
表 1 正则表达式常用的匹配模式  
模式  
说明  
实例  
.
［...］  
［^...］  
*
表示匹配任意单个字符，但换行符除外  
表示字符集，对单个字符给出取值范围  
表示非字符集，对单个字符给出排除范围  
匹配前一个字符 0 次或无限次  
匹配前一个字符 1 次或无限次  
匹配前一个字符 0 次或 1 次  
匹配前一个字符 m 次  
无
［a-z］表示匹配字母 a 到 z 的单个字符  
［^abc］表示匹配除 a、b、c 之外的单个字符  
abc* 表示匹配 ab、abc、abcc 等  
abc+ 表示匹配 abc、abcc、abccc 等  
abc？表示匹配 ab、abc  
+
？
{m}  
{n，m}  
a|b  
abc{2}表示匹配 abcc  
匹配前一个字符 n 到 m 次，含 m 次  
表示匹配 a 或 b  
abc［1，2］表示匹配 abc、abcc  
ab|cd 表示匹配 ab 或 cd  
^abc 表示 abc 在一个字符串的开始位置  
abc$表示 abc 在一个字符串的结尾位置  
（abc）表示匹配 abc  
^
匹配字符串开始位置  
$
匹配字符串结尾位置  
（）  
\d  
分组标记  
表示匹配任意数字  
无
\w  
表示匹配字母字符和下划线  
无
2.2 re 库  
如在网络数据的获取中，re 库可以通过搜索字符串  
并以列表形式返回匹配字符串的形式来实现目标  
网络数据的提取。  
2.2.1 re 库的使用原理  
re 库，又称正则表达式库，是 Python 的系统库，  
因此 re 库不需要安装就可以直接调用，调用方式为  
“import re”。 re 库提供了正则表达式的实现，它采  
2.2.2 re 库的功能函数  
re 库有 6 个主要的功能函数，包括“re.search  
用原生字符串类型表示正则表达式，表示形式为“r’ （）”“re.match（）”“re.findal（l ）”“re.spli（t ）”“re.finditer  
text’”。原生字符串是指不包含转移符的字符串，它  
与字符串的不同之处在于需要在前面加一个“r”。re  
库主要用于字符串的提取、替换和匹配验证等，例  
（）”和“re.sub（）”，不同的功能函数可以满足不同的  
匹配方式和结果。下表为 re 库主要功能函数的使用  
方法与说明。  
表 2 re 库功能函数  
主要功能函数的使用方法  
re.search（pattern，string，flags=0）  
说明  
在一个字符串中搜索匹配正则表达式的第一个位置，返回 match 对象  
从一个字符串的开始位置起匹配正则表达式，返回 match 对象  
搜索字符串，以列表类型返回全部匹配的子串  
re.match（pattern，string，flags=0）  
re.findal（l pattern，string，flags=0）  
re.spli（t pattern，string，maxsplit=0，flags=0）  
re.findite（r pattern，string，flags=0）  
re.sub（pattern，repl，string，count=0，flags=0）  
对一个字符串按照正则表达式匹配结果进行分割，以列表形式返回  
搜索字符串，返回一个匹配结果的迭代类型，每个迭代元素是 match 对象  
在一个字符串中替换所有匹配正则表达式的子串，返回替换后的字符串  
在使用上述函数匹配字符串时，系统默认为最  
长匹配，即输出最长子串，称为贪婪模式。若想要实  
现非贪婪模式，可以通过在操作符后添加“?”的方  
式实现，例如“*?”“、??”等。  
参数，下面对参数进行如下说明。  
其中常见的控制标记有三种，分别为“re.I”  
“re.M”“re.S”，而“re.I”表示在匹配正则表达式时，忽  
略正则表达式中字母的大小写的区分；“re.M”作用  
于正则表达式中的“^”操作符，使得“^”操作符能够把  
字符串的每行当作匹配的开始位置，而不是全部字  
在 表 2 中 ，“pattern”“string”“flags”“maxsplit”  
“repl”和“count”是 re 库 6 个主要功能函数的全部  
- 152 -  

相关下载

全部评论(0)

暂无评论
评论赚积分>>

上传资源 上传优质资源有赏金

热门标签

更多>>

最新上传

  • 打赏
  • 30日榜单

热门下载

推荐下载

本站上的所有资源均为源于网上收集或者由用户自行上传，仅供学习和研究使用，无任何商业目的，版权归原作如有侵权，请 来信指出，本站将立即改正。

ICP许可证号：京ICP证070360号     21IC电子网 2000- 版权所有

京ICP备11013301号

京公网安备 11010802024343号