积分商城

最新搜索： ispLEVER NE555.PDF multism IP超过下载限制怎样解除 线性电源 加密芯片
您现在的位置是：首页 > 技术资料 > 基于Python爬虫的大学校园公众号开发
推荐星级：
  • 1
  • 2
  • 3
  • 4
  • 5

基于Python爬虫的大学校园公众号开发

更新时间：2019-12-24 05:28:07 大小：2M 上传用户：songhuahua查看TA发布的资源 标签：python 下载积分：1分 评价赚积分 （如何评价?） 打赏 收藏 评论(0) 举报

资料介绍

关 键 词】 核心程序 开发者 公众号 网络爬虫技术 服务器 大学校园 正则表达式 PYTHON


部分文件列表

文件名 大小
基于Python爬虫的大学校园公众号开发.pdf 2M

【关注视频号领20积分】   【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）
2019年  
珠 江 教 育 论 坛  
第1期  
基于Python爬虫的大学校园公众号开发  
梁金龙，邹小林  
据统计，目前微信注册用户数量已接近10亿[1]。由于微  
面创建 5 个二级菜单；"type"的值是二级菜单的响应动作类  
信用户具有量大，关注度高、支持群发等特点，政府部门、企  
业、事业单位、协会、商家、学校，甚至个人都纷纷注册使用公  
众号。但很多公众号被受众关注得不多，主要原因是这些公  
众号难以提供有质量的推文和服务。为了提高公众号的关  
注度，一些高校教师进行了调查研究，有研究[2]认为用户的期  
望确认、感知有用、感知娱乐、内容丰富度以及感知服务质量  
都显著影响用户对公众号满意度和持续使用意愿。也有研  
究[3]认为高校微信公众号的使用意愿主要受到感知有用性、  
感知娱乐性与信息感知质量 3 个因素影响。可见微信公众  
号的有用性、娱乐性与有质量的信息是至关重要的。针对校  
园公众号被关注较少这个问题，采用Python网络爬虫技术对  
公众号进行二次开发，在注册的公众号中增加公众号推文、  
网络新闻、网络笑话等信息自动推送，为学校校园文化建设  
提供可行方案。  
型，有 click 和 view 等类型；第二个"name"的值是二级菜单  
名，"key"的值是二级菜单的 KEY 值，可自定义。其中 click  
是点击推送事件，用户点击click类型按钮后，微信服务器会  
通过“接收事件推送”接口推送 XML 结构数据给开发者，并  
且带上按钮中开发者填写的 KEY 值，开发者可以通过 KEY  
值与用户进行交互。  
“接收事件推送”接口是微信服务器把 POST 消息的  
XML 类型数据包推送给开发者服务器，即微信用户和公众  
号产生交互的过程中，开发者可以通过接口获取用户的操作  
信息。XML 数据包中包含开发者微信号(ToUserName)、微  
信用户帐号(FromUserName)、消息创建时间(CreateTime)、消  
息类型（MsgType）、事件类型（Event）和事件 KEY 值（Event-  
Key）。开发者根据消息类型、事件类型和事件 KEY 值对微  
信用户的操作进行判断和处理。  
“自动回复”接口是开发者服务器把回复消息的XML结  
构数据包推送给微信服务器。“接收事件推送”接口与“自动  
回复”接口同时调用，实现公众号自动接收并回复用户消息，  
可以回复文本信息、图片信息、图文信息等。“自动回复”接口  
回复的消息类型不同，XML 结构数据包需要传递的参数也  
不同，但每个数据包都必须传递 3 个参数：微信用户帐号  
(ToUserName)、开发者微信号(ToUserName)和消息创建时  
间(CreateTime)。特别强调：“自动回复”接口传输的ToUser-  
Name 和 FromUserName 与“接收事件推送”接口接收的相  
反，开发时要分清楚。“自动回复”接口采用 https 请求 POST  
方式调用。  
一、公众号的二次开发接口  
微信公众号与开发者的服务器搭建后，可以通过调用公  
众号的接口实现公众号二次开发。微信平台提供的公众号  
接口有“获取 access_token”接口、“接收事件推送”接口、“自  
动回复”接口、“自定义菜单”接口。  
调用“获取 access_token”接口时，需要传递 3 个参数：  
grant_type、appid和secret，其中授权类型参数grant_type是客  
户端证书 client_credential；参数 appid 是公众号开发识别码  
ID；参数secret是开发者密码。采用https的GET请求方式调  
用“获取 access_token”接口，请求的网页地址是
weixin.qq.com/cgi-bin/token?grant_type=client_credential&ap-  
pid=APPID&secret=AppSecret。“自定义菜单”接口的传输参数  
为access_token和自定义菜单数据包。采用https请求的POST  
方式调用“自定义菜单”接口，请求的网页地址是
ixin.qq.com/cgi- bin/menu/create?access_token=ACCESS_TO-  
KEN。自定义菜单数据包结构是 Json 结构，Json 结构以“名  
称\值对”形式储存信息，代码类似为：{"button": [{ "name": "  
网络爬虫", "sub_button": [{"type": "click", "name": "微信公  
众号推文", "key": "V1"}]}]}。其中名称为"button"的值是一  
级菜单列表，可在里面创建 3 个一级菜单；第一个"name"的  
值是一级菜单名；"sub_button"的值是二级菜单列表，可在里  
二、网络爬虫相关原理  
网络爬虫是一种按照特定规则，自动抓取网络信息的程  
序或者脚本[4]。网络爬虫的结构如图 1 所示，一般包括初始  
URL、网页爬取模块、网页分析模块和数据库，其中网页爬取  
模块和网页分析模块是核心模块。  
python爬虫网页爬取模块的爬取方法通常有源码爬取、  
抓包爬取。源码爬取是用 python 发起 HTTP 请求直接获取  
网页的HTML源代码；抓包爬取则是爬取HTTP请求中的传  
输数据包，通过对数据包url的直接访问爬取数据包。  
21  
珠江教育论坛  
总第116期  
号的菜单；在云服务器上开发接收和处理微信信息的程序，  
搭建数据库存放信息，封装 XML 数据包。大学校园公众号  
二次开发包括：开发微信公众号推文爬虫，开发新闻爬虫和  
开发段子爬虫，将爬虫部署到公众号。  
大学校园公众号开发的技术思路如图 2 所示。用户进  
行某个操作的消息会发到微信服务器；微信服务器发送消息  
的 XML 数据包给开发者服务器；开发者服务器接收并解析  
数据包，判断事件类型；如果消息不是自定义菜单事件，回复  
success，微信服务器确定开发者收到了粉丝消息，不会提示  
公众号异常；如果是自定义菜单事件，根据事件KEY值判断  
用户点击的爬虫菜单，查询该需求的爬虫信息是否存在于数  
据库；如果是，从数据库提取信息，封装成特定的 XML 数据  
包，回复给微信服务器；如果否，运行相应的爬虫爬取信息，  
存入数据库再提取给微信服务器。  
图1 网络爬虫原理图  
网页分析模块解析方法包括正则表达式解析、Beautiful-  
Soup解析和Json解析。正则表达式是由一系列特殊字符和  
普通字符组成的字符集合[5]，可匹配网页源码中特定字符串，  
提取相应信息；BeautifulSoup解析则是应用Python第三方库  
Beautiful Soup 进行解析，Beautiful Soup 将复杂的 HTML 网  
页转换成一个复杂的树形结构,树形结构每个节点都是 Py-  
thon 对象，所有对象可以归纳为 4 种: Tag 、BeautifulSoup 、  
NavigableString、comment。Tag 对象与 XML 或 HTML 原生  
文档中的 tag 定义相同；NavigableString 类对象被 Beautiful  
Soup用来包装tag中的字符串，NavigableString 字符串与Py-  
thon 中的 Unicode 字符串定义相同；BeautifulSoup 对象表示  
的是一个文档的全部内容，大部分时候,可以把它当作 Tag  
对象；Comment 对象是一个特殊类型的 NavigableString 对  
象。Beautiful Soup 库支持最常用的 CSS 选择器,在 Tag 或  
BeautifulSoup 对象的select() 方法中传入对象的字符串参数  
, 即可使用 CSS 选择器的语法找到该 Tag[6]，通过 getText()方  
法可获取 Tag 中字符串。Json 是一种轻量级的数据交换格  
式，以“名称\值对”形式储存信息，易于机器解析和生成，所  
以网络传输数据一般采用 Json。Json 解析是应用 Python 第  
三方库“json”解析Json结构的数据包，根据Json数据包中的  
“名称”获取“值对”信息。Json 解析使用方法有 dumps()和  
loads(),dumps()是将Python对象编码成 JSON 字符串，loads()  
是将字符串解码为 Python 对象。  
图2 大学校园公众号开发的技术思路图  
四、大学校园公众号开发平台搭建  
（一）公众号绑定开发者服务器  
本文公众号二次开发环境包括：web.py为网络框架，py-  
thon为开发语言和腾讯云服务器。运用web.py搭建网页，复  
制微信公众平台技术文档[7]中“搭建服务”的测试代码 main.  
py 到开发者服务器，用命令提示符执行命令：sudo python  
main.py 80，即可搭建能接收微信服务器信息的网页。完成  
后，登录公众平台官网，在菜单“基本设置”中开启公众号的  
开发者模式，在“服务器配置”中修改配置。需要修改的参数  
有url、Token，其中“url”填写开发者服务器搭建的网页地址，  
“Token”可以自主设置，只用于验证开发者服务器。点击提  
交按钮，微信公众平台会对开发者服务器进行验证，若token  
验证成功，会自动返回基本配置的主页面，点击启动按钮，即  
可绑定开发者服务器。  
三、工作思路  
开发工作主要包括2部分：大学校园公众号开发平台搭  
建和大学校园公众号二次开发。大学校园公众号开发平台  
搭建包括：公众号验证绑定服务器、用接口工具自定义公众  
（二）创建公众号的菜单  
创建公众号的菜单需要调用“获取access_token”接口获  
22  

相关下载

全部评论(0)

暂无评论
评论赚积分>>

上传资源 上传优质资源有赏金

热门标签

更多>>

最新上传

  • 打赏
  • 30日榜单

热门下载

推荐下载

本站上的所有资源均为源于网上收集或者由用户自行上传，仅供学习和研究使用，无任何商业目的，版权归原作如有侵权，请 来信指出，本站将立即改正。

ICP许可证号：京ICP证070360号     21IC电子网 2000- 版权所有

京ICP备11013301号

京公网安备 11010802024343号