推荐星级：
- 1
- 2
- 3
- 4
- 5
基于Python的微信公众平台数据爬虫
资料介绍
随着互联网产业的发展,数据产业成为一个新兴行业,由于各类网络平台无时不刻在产生着数据,并且数据量非常的大.人工智能时代,对数据的依赖越来越重要,由于数据中存在着巨大的信息价值,要想挖掘网络中数据蕴含的有利信息,光靠人工复制粘贴是不行的,需要计算机来帮本文快速地爬取本文想要的东西.数据主要的来源就是通过爬虫获取,通过爬取获取数据可以进行市场调研和数据分析,作为机器学习和数据挖掘的原始数据.提出一种基于Python的微信公众平台数据爬虫方法,利用Python的requests、urllib.re-quest、re等基础模块进行微信公众号历史消息网页数据爬取,并从中研究微信公众号平台文本内容蕴含的信息,根据研究的结果发现某微信公众号的文章数在2016年与2017年暴增,其中2016-2017增幅最为明显.
部分文件列表
| 文件名 | 大小 |
| 基于Python的微信公众平台数据爬虫.pdf | 4M |
部分页面预览
（完整内容请下载后查看）Academic discussion
学术探讨
Python
基于
的微信公众平台数据爬虫
王
鑫
(
400074)
重庆交通大学 重庆
【
摘
】
， ， ，
随着互联网产业的发展 数据产业成为一个新兴行业 由于各类网络平台无时不刻在产生着数据 并且数据量非常的大
。
要
， ， ， ，
人工智能时代 对数据的依赖越来越重要 由于数据中存在着巨大的信息价值 要想挖掘网络中数据蕴含的有利信息 光靠人工复制粘贴
， 。 ，
是不行的 需要计算机来帮本文快速地爬取本文想要的东西 数据主要的来源就是通过爬虫获取 通过爬取获取数据可以进行市场调研和
， 。
数据分析 作为机器学习和数据挖掘的原始数据 提出一种基于
Python ， Python requests、urllib． re-
的微信公众平台数据爬虫方法 利用 的
quest、re
， ，
等基础模块进行微信公众号历史消息网页数据爬取 并从中研究微信公众号平台文本内容蕴含的信息 根据研究的结果发现某微
2016 2017 ， 2016 － 2017
。
增幅最为明显
信公众号的文章数在
【 】Python;
关键词
年与
年暴增 其中
;
微信公众平台 数据爬虫
Data Crawler Based on Python on the
Public Platform of Microsoft
Wang Xin
Abstract:
With the development of the Internet industry，data industry has become a new industry，because all kinds of network platforms are
producing data all the time，and the amount of data is very large． In the era of artificial intelligence，the dependence on data is becoming more and more
important． Because of the huge information value in the data，it is impossible to mine the beneficial information contained in the data in the network only
by manual copy and paste． Computer is needed to help us quickly crawl what we want． The main source of data is crawler acquisition，which can be
used for market research and data analysis as the raw data of machine learning and data mining． A data crawler method based on Python is proposed for
the Wechat Public Platform． The basic modules of Python，such as requests，urllib． request and re，are used to crawl the Web page data of the Wechat
Public Number History Message． The information contained in the text content of the Wechat Public Number Platform is studied． According to the re-
search results，the number of articles of Wechat Public Number is found． In 2016 and 2017，there was a sharp increase，with the most significant in-
crease in 2016 － 2017．
Key Words: Python; Wechat Public Platform; Data crawler
， ，
然后用正则表达式锁定要选取的内容下载数据存到本地 清洗数
引言
信息技术的进步和人工智能的到来使人们的生活方式逐渐发生改
置
，
。
据
最后保存数据
HTTP
请求
，
。
社交网络的高速发展和形式变迁就是一个非常突出的例子 在大数
(
)
一
变
发送
进行网页数据爬取的第一步是得到该网页的
Python HTTP
， ，
据时代 社交网络产生的数据就像一个巨大的宝库 这吸引了大量的研
URL，
URL
有了 之后
。 ，
究人员参与到相关内容的研究 在国外 人们针对
Twitter、Facebook
。
请求
等
用
向服务端发送
一般的网页信息的爬取请求方式是
post。
。
知名社交平台展开了一系列的分析 但是针对国内社交网络平台的研究
get，
如果需要填写表单才能进
。 ，
还比较欠缺 主要是缺乏相关的研究数据 使得一些研究难以开展
。
，
在
一步获取资源请求方式是
在专业领域中还有更多请求方式 一般
Twitter
，
，
即
get，post，put，delete， get
国外
等社交平台会提供一些数据接口供研究人员获取研究数据
有四种基本请求方式
post
本文主要涉及
请求
请求的本质的区
。
但是在国内却无法正常访问这些接口 如此之大的一个社交平台为社交
。
请求 一般的网站专业人士认为
get
post
和
请求和
，post
请求主要用于更
、
网络分析 网络数据挖掘等研究提供了强有力的大数据支持
。
，get
、
别在于
请求主要用于获取 查询资源信息
，
目前微信公众号注册量巨大 然而微信公众平台并没有提供相关的
(
)
修改 资源信息
。
新
， ， 。
数据接口 没有数据 一些研究分析工作也无法进行 目前网络中也存
(
)
二
HTTP
请求响应
HTTP
当用户向服务端发送了请求之后 服务端会根据
，
在一些公开的微信公众号数据供人们下载 但是这些数据集通常规模比
，
协议中的定
， 、
较小 而些技术力量强劲 资源充足的研究团队通常自己开发一些爬虫
。
义解析出请求的东西然后发送给用户 每一次响应都会有一个相对应响
。 。
来获取研究数据 这对不熟悉爬虫技术的且还缺乏实时性 有研究人员
，
应状态 响应成功对应的响应码是
200， 。
其他的一般都是响应错误
。
而言是个极大的挑战 本文提出了一款基于
Python
(
)
三 正则表达式
语言的微信公众号数
，
。
，
。(
: Regular Expression，
英语 在代码
据爬虫 为数据获取提供支持
本文爬虫通过模拟客户端的操作如登录 访问关注量 查看历史消
正则表达式 又称规则表达式
regex、regexp RE) ， 。
计算机科学的一个概念 正则表达式
、
、
中常简写为
通常被用来检索 替换那些符合某个模式 规则 的文本
许多程序设计语言都支持利用正则表达式进行字符串操作 例如
Perl
或
、
，
查看消息内容等方式获取相关数据 并且将这些数据持久化保存到
、
(
)
。
息
， 。
本地硬盘上 方便后续进一步的数据挖掘与分析 使用本文爬虫能够节
。
，
，
省分析人员的开发时间 使得他们可以将更多的精力放在数据分析上
。
在
中就内建了一个功能强大的正则表达式引擎 正则表达式这个概
，
。
Unix sed grep)
(
。
面
同时也可以对一些无用的数据起到过滤作用
念最初是由
式通常缩写成
regexen。
正则表达式能从一大堆信息中提取本文想要的信息 构造正则表达
中的工具软件 例如
和
普及开的 正则表达
regexps、regexes、
复数有
、
“regex”， regexp、regex，
一
爬虫相关原理
单数有
，
想要爬取某些网站的数据需要一些手段才能实现 因为并非所有人
，
都希望自己的成果被别人轻易地复制据为己有 但是在不违反道德和法
。
，
律的基础上 仅用于个人能力提升和学术上的研究以及在不影响他人利
，
式是得到网页源代码之后非常重要的一步 构造正则表达式需要观察网
。
，
页源代码的特征 正则表达式中的字符表达基本上有下面这些
:
益的情况下自己获利进行网页数据爬取是很有必要的
， ，
首先找到目标数据网页并发送请求 获取响应内容 分析目标数据
、
二 爬虫算法模块
URL ( ) ，
统一资源定位符
(
)
主要模块
所对应的
找到目标数据在网页源代码中的位
一
270 质量管理
Academic discussion
学术探讨
1． re
3．
、
客户端将用户的用户名 密码以及中服务器发回的登录密钥结
模块
re
，
模块就是正则表达式对应的模块 可以直接选取本文需要的资
，
合在一起再向服务器提交登录信息 服务器验证成功之后将会返回正确
，
re
这里主要用了 模块下的
re． compile ( A) ． findall ( B)
，
。
的登录状态以及当前用户的个人信息 成功登录之后客户端只需要保持
源
函数
参
A
，
session
。
数
是本文按照自己需求构造的正则表达式用来提取有用的资源 参数
是所有资源
2． urllib
与服务器的
会话就可以方便地访问微信公众号中的数据资源
微信公众号正文内容抓取
本文爬虫针对用户的微信公众号内容提供了相应的抓取方法 一种
B
(
)
二
模块
模块有很多功能 其中本文主要涉及到的函数或功能有
urlopen，build_ opener，install_ opener，ProxyHandler，re-
。
urllib
request
，
urllib．
:
方法是 本文爬虫可以将用户的所有微信公众号内容全部以文件的形式
下面的
，
完全记录到磁盘 但是这样做就需要很多的物理存储空间才能将如此之
trieve
。
等
。 :
多的用户数据保存下来 另一种方法是 本文爬虫提供了简单的字符串
urllib
，
模块是整个基础爬虫中最重要的模块之一 本文主要引用了
，
匹配功能 在抓取用户微信公众号内容的过程中会根据需要匹配的关键
urllib
，
模块进行爬虫有关操作 当然也有其他模块和框架
( scrapy
项目
，
字进行匹配 如果发现匹配成功的爬虫会将该数据内容保存到磁盘
。
这
) ，
框架 可以进行爬虫 在此暂时不做考虑
。
。
样研究人员就可以有针对性地进行相关研究和分析
(
)
应对反爬虫机制
二
(
)
三
某微信公众号的爬虫数据分析
，
在对某些网站进行爬取的时候会遇到一些反爬机制 所谓反爬机制
就是指对方不希望别人用除浏览器以外的途径去获取该网站的信息或者
不希望该网站的数据被某些人用于商业用途从而制作的一些拒绝爬取的
，
通过对某一微信公众号的数据进行爬虫 从网页上爬取文本数据之
， 。
后可以进行一系列的分析 以关键词出现频率为例画出词云图 相对传
，
统的统计图有更好的观赏性 并且清晰直观的看出此微信公众号的主要
。 ，
手段 本文主要讲的有两种反爬机制分别是 网站拒绝除浏览器以外的
CNN
， ， ，
卷积神经网络 运算 领导等关键词有关 可以粗略推断
内容与
IP
．
地址 针对第一种常
访问方式和网站拒绝反复多次提供数据给同一
。
本文爬取的公众号是与人工智能和数据科学有关的公众号
，
见的解决方案是构建用户代理或者用户代理池 针对第二种情况则是构
IP
IP 。
代理或者 代理池
建
(
)
三
用户代理池
( User Agent) ，
UA，
，
它是一个特殊字符串头 使得
用户代理
简称
、CPU
、
类型 浏览器及版
服务器能够识别客户使用的操作系统及版本
、
、 、 ．
浏览器渲染引擎 浏览器语言 浏览器插件等 一些网站常常通过
本
UA
、 ，
来给不同的操作系统 不同的浏览器发送不同的页面 因此可
判断
，
能造成某些页面无法在某个浏览器中正常显示 但通过伪装
UA
可以绕
。
过检测
用户代理池由多个用户代理构成 从里面随机选取一个用户代理来
，
．
应对相应的错误
IP
(
)
四
代理池
，
高频抓取某个网站的数据 很有可能就被网站管理员封掉
IP，
导致
， ，
抓取数据失败 解决这个问题最直接 简单的方法就是使用代理
IP。
目
IP
，
，
前网上有不少提供付费代理
的平台 但是如需长期使用 该方案是
IP IP，
并不间
。
笔不少的开销 本项目通过抓取
代理网站提供免费代理
、
四
结论与展望
Python
IP ， IP IP ，
断的验证 的有效性 根据代理 验证的历史记录对 进行评估 输
，
数据爬虫对微信公众号数据进行爬取中 选出爬
在本文利用
IP。
出高质量代理
， ，
取文本中高频出现的词汇 并用词云图的形式表示出来 由于其清晰明
，
了的可视化效果 可以为初学者的统计分析提供分析方向
。
， ，
大数据时代 对大数据的分析应当成为一个行业 数据拥有者应该
， ， ，
开放数据的分析接口 让数据的价值释放 而爬虫开发者 很多时候是
， 。
数据分析者 最起码是个数据清洗和筛选者 他们蒙上了一层神秘面
，
， ，
带着一丝黑客气息 法律应当给他们更大的生存空间 让这个有价
纱
。
值的行业创造更大的价值
【
】
参考文献
［1］
， ．
刘金红 陆余良 主题网络爬虫研究综述
［J］．
计算机应用
，2007，24 ( 10) : 26 － 29，47． DOI: 10． 3969 /j． issn． 1001 －
研究
3695． 2007． 10． 007．
［2］
，
．
Python
［J］．
的新浪微博数据爬虫程序设计
陈琳 任芳 基于
，2016， ( 9) : 97 － 99． DOI: 10． 3969 /j． issn． 1001 －
信息系统工程
2362． 2016． 09． 061．
［3］ Python
．
［J］．
电子
罗咪 基于
的新浪微博用户数据获取技术
，2018，( 5) : 138 － 139．
世界
［4］
．
夏敏捷 杨关
《Python
－ 》 ［M］．
程序设计 从基础到开发
清
2017．
8
华大学出版社
［5］
．
Python3
［M］．
网络爬虫开发实战 人民邮电出版社
崔庆才
2018．
4
［6］
．
Python
［M］．
编程从零基础到项目实战 中国水利水电
刘瑜
、Python
三
数据爬虫操作
微信登录
微信公众号平台数据需要在登录的情况下才能访问到 所以微信公
2018． 10
出版社
［7］ Zed A． Shaw． Learn Python3 the hard way 3 ［M］．
(
)
一
，
人民邮电出
2018．
版社
6
。
众号登录是爬虫需要解决的第一个问题 微信公众号一般有以下几个
:
步骤
:
作者简介 王鑫
，
，
，
， ，
四川简阳人 本科在读 研究方向
:
1．
2．
;
男
汉
多
客户端向用户服务器发送登录请求
。
;
变量统计分析
服务器接收到登录请求后会生成相应的密钥返回给客户端
质量管理 271
更多>>
最新上传
- 打赏
- 30日榜单
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic下载 打赏310.00元 3天前
用户：小猫做电路
-
21ic下载 打赏310.00元 3天前
用户：gsy幸运
-
21ic下载 打赏310.00元 3天前
用户：liqiang9090
-
21ic下载 打赏310.00元 3天前
用户：zhengdai
-
21ic下载 打赏160.00元 3天前
用户：w1966891335
-
21ic下载 打赏160.00元 3天前
用户：w178191520
-
21ic下载 打赏160.00元 3天前
用户：kk1957135547
-
21ic下载 打赏40.00元 3天前
用户：WK520077778
-
21ic下载 打赏40.00元 3天前
用户：sun2152
-
21ic下载 打赏30.00元 3天前
用户：xuzhen1
-
21ic下载 打赏50.00元 3天前
用户：铁蛋锅
-
21ic下载 打赏30.00元 3天前
用户：xzxbybd
-
21ic下载 打赏40.00元 3天前
用户：z00
-
21ic下载 打赏40.00元 3天前
用户：forgot
-
21ic下载 打赏40.00元 3天前
用户：happypcb
-
21ic下载 打赏20.00元 3天前
用户：zhaoqshan
-
21ic下载 打赏5.00元 3天前
用户：17724187683
-
21ic下载 打赏5.00元 3天前
用户：zmm1818
-
21ic小能手 打赏15.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
chenruiji 打赏1.00元 3天前
资料：血糖仪原理图
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
资料：测试智能语音控制模块
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
cai0603 打赏3.00元 3天前
用户：CJQ_ENJOY
-
21ic小能手 打赏5.00元 3天前
全部评论(0)