积分商城

最新搜索： ispLEVER NE555.PDF BRIGHTEK multism modelsim 10.4 IP超过下载限制怎样解除
您现在的位置是：首页 > 技术资料 > 基于Python的校园贴吧数据爬虫技术研究
推荐星级：
  • 1
  • 2
  • 3
  • 4
  • 5

基于Python的校园贴吧数据爬虫技术研究

更新时间：2019-12-24 06:20:59 大小：2M 上传用户：songhuahua查看TA发布的资源 标签：python 下载积分：1分 评价赚积分 （如何评价?） 打赏 收藏 评论(0) 举报

资料介绍

基    金】 黄淮学院2018年校级教改课题《基于专业认证的毕业设计(论文)过程保障与质量监控系统》阶段性研究成果(编号:2018XJGLX0221)


部分文件列表

文件名 大小
基于Python的校园贴吧数据爬虫技术研究.pdf 2M

【关注视频号领20积分】   【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）
TECHNOLOGY AND MARKET  
创新与实践  
Vol． 26，No． 11，2019  
Python  
基于  
的校园贴吧数据爬虫技术研究  
1
2
，
李福荣 贾志刚  
( 1．  
，
黄淮学院 国际教育学院 河南 驻马店  
463000; 2．  
，
黄淮学院 建筑工程学院 河南 驻马店  
463000)  
: ， ， ，  
介绍数据爬取技术的相关概念 阐述了校园贴吧数据的爬取方式 并以黄淮学院贴吧为例 探讨百度高校贴吧  
摘
要
， ， ，  
数据爬虫程序设计 并将爬取数据反馈给学校 学校管理层能及时加强学生心理健康教育工作 有效控制网络的负面效  
，
应 控制舆情的发展和蔓延  
。
: ;  
关键词 校园贴吧 爬虫技术  
; Python;  
舆情监控  
doi: 10． 3969 /j． issn． 1006 － 8554． 2019． 11． 012  
1． 2 Python  
Python  
0
引言  
，
随着科学技术的发展 互联网在人们生活中有着越来越重  
，
语言是一种比较常用的开发网址工具 这种语言自  
。 ， ，  
要的角色 经过调查 大学生每人都有智能手机 每天都会不  
。
，
身具有非常强大功能 随着互联网行业的快速发展 各种行业  
Python  
语言的应用提供了很  
， ，  
定时上网 刷微博 聊微信  
、QQ  
，
等 尤其是学校的百度贴吧  
。
，
百
自身都需要拥有自己的网址 这给  
。
度高校贴吧是高校校园文化的重要载体 通过访问百度高校  
。Python  
。
语言能够兼容各种不同类型的操作系统  
大发展机会  
Python  
， 、 ， 、  
贴吧 大学生可以初步了解学校 社会 以及在贴吧上沟通 交  
，
是属于面向对象语言 这种编程语言能在短时间内实现  
。 ， ，  
流感情 高校也可以通过贴吧的建设 塑造校园文化形象 以  
。Python  
，
属于解释性语言 整体通过简单的语法与动  
对象编程  
。
及对学生进行心理培育 贴吧内容大都涉及学校教学与管理  
、
， Python  
态输入有力支持 使得  
逐渐成为各种操作系统平台上常  
用的脚本语言之一 特别应用于追求高性能的综合应用程序开  
，Python ，  
在还提供了网络综合信息协议数据库  
，
生活与环境以及学生的爱情与交友等方面 都是学生关注的热  
，
， ，  
点和焦点问题 跟贴者众多 一些内容可能会影响到人才的培  
。
发过程 另外  
能够在短时间内对各种网络协议进行抽象封装 因此 在实现  
，Python  
，
养与学校的稳定 这就使高校的教育工作面临着新的机遇和挑  
。
，
。
， ， ，  
因此 高校要尊重网络传播规律 加大引导力度 建立起有  
。
语言是首选  
战
网络爬虫功能方面  
爬虫功能实现  
爬虫功能实现的流程如下 首先模拟人访问百度黄淮学院  
url  
， ， ，  
效的双向沟通机制 消除沟通障碍 维护高校稳定 促进高校的  
2
。
:
健康发展  
，
本文将数据爬虫技术应用于抓取校园贴吧数据 使高校管  
，
，
贴吧 然后获取贴吧网页内容 并将网页内容中  
list url ， ，  
数据 访问子页面 遍历页面  
循环存入  
， 、  
理者能及时掌握百度高校贴吧动态 为管理人员科学利用 管  
，
，
列表中 最后 读取列表中  
，
理这一新的沟通平台提供数据支持 进而帮助大学生明辨是  
， 。  
内容 并写入本地文件中 具体代码实现内容如下  
。
， ，  
非 增强他们吸收先进文化和抵御不良文化的能力 激发学生  
2． 1  
，
定义请求头 模拟人访问  
get_content( url，data = none) ，  
函数 设置请求头和超  
、 ，  
的自主自觉的意识 开拓创新的激情 从而帮助大学生树立积  
定义  
，
极进取的人生观 使百度高校贴吧成为我院和谐校园文化形态  
，
时时间 对请求页面内  
URL  
， 。  
进行循环访问 保存数据 请求头  
。
1
代码如图 所示  
。
的有效延展  
相关理论  
1． 1  
1
网络爬虫  
，
互联网可以被比喻为大的蜘蛛网 而蜘蛛网中每一个交叉  
，
点就是互联网上的一个节点 各个节点之间通过超链接连在一  
。
起
网络爬虫通过各种遍历算法从互联网上下载用户需要的  
， ，  
信息 网络爬虫可以以互联网中的任何一个节点出发 使用遍  
1
图
请求头代码  
， ，  
历算法 到达互联网中的任何其他节点 被访问到的节点根据  
2． 2  
定义获取网页内容函数  
get_data( html_text)  
，
用户需求对节点内信息进行比对判断 把需要的信息从网页中  
。
定义函数  
一页贴吧的页面进行分解 找到列表所在的  
list 。list  
获取贴吧列表内容 即对每  
， ， 。  
下载下来 并进行格式化呈现给用户 或者下载到本地 网络  
，
code  
，
标签 将列表  
的每个元素是一个保存帖子信息的  
html_text final ，  
列表  
Web  
，
页面进行遍历查询 从而自动  
爬虫是根据一定的规则对  
存在一个  
里返回  
。
抓取有效信息的脚本 网络爬虫的主要原理是通过互联网指  
，
子列表 函数入口是  
，
页面对象 返回值是  
URL，  
访问相应的  
Web  
，
内容 并继续爬取包  
定的子集合中读取  
: 、  
每个元素包括 标题 发帖人  
ID、 、 ，  
发帖人 发帖时间 主要代码  
， 、  
含的子页面内容 从而完成数据的收集 分类和整理  
。
2
如图 所示  
。
34  
技术与市场  
创新与实践  
2019  
26 11  
年第 卷第 期  
2
图
获取贴吧列表内容  
2． 3  
定义写数据到文件函数  
5
图
导出文件内容  
write_data( data，name) ，  
将要写入文件的数据写  
定义函数  
3
结语  
Python  
， 3  
入文件 主要代码如图 所示  
。
，
是一个使用简洁方便 很适合初学者使用的语言  
。
Python  
基于  
的网络爬虫技术可以更加准确的获取所需的目标  
。 ，  
数据 通过对高校校园贴吧数据的爬取 高校管理部门可以更  
，
好地掌握学校学生的网络状态 可以加强对学生心理健康的教  
， ， ，  
育 控制网络的负面效应 提前预警 具有一定的应用价值  
。
:
参考文献  
［1］  
， ． Python  
李林长谋 黄玮 基于 的就业岗位数据获取与预  
3
图
写入函数代码  
［J］．  
处理  
，2019，15( 12) : 6 － 7．  
电脑知识与技术  
［2］  
， ， ， ． Python  
陈欢 黄勃 刘文竹 等 基于 的网络新闻爬虫与  
2． 4  
定义函数获取贴吧相关页面的链接列表  
［J］．  
检索  
，2019，18( 5) : 168 － 171．  
软件导刊  
get_urls( html_text) ，  
用于获取贴吧相关页面的  
定义函数  
［3］  
， ．  
钱言玉 陈智 百度高校贴吧舆情预警研究  
［J］．  
科技创  
， ，  
链接列表 函数参数是页面对象 返回是链接列表  
list  
，
对象 代  
，2011( 9) : 28．  
新导报  
4
码如图 所示  
。
［4］  
．
张合斌 高校百度贴吧舆情研究  
［J］．  
，2009  
新闻爱好者  
( 18) : 122 － 123．  
［5］  
．
Python  
［J］．  
对网络爬虫系统的设计与实现  
陆树芬 基于  
电脑编程技巧与维护  
Python  
，2019( 2) : 26 － 27 + 51．  
［6］  
．
［J］．  
的新浪微博数据爬虫  
周中华 基于  
计算机应  
，2014: 34．  
用
［7］  
．
冯俐 爬虫技术综述  
［J］．  
，2017: 27．  
电脑知识与技术  
:
基金项目  
2018  
《
年校级教改课题 基于专业认证的毕业设  
黄淮学院  
( ) 》 (  
计 论文 过程保障与质量监控系统 阶段性研究成果 编号  
:
2018XJGLX0221)  
4
图
获取页面相关链接代码  
实现贴吧数据爬取  
通过调用上面几个函数实现黄淮学院贴吧数据的爬取 只  
:
作者简介  
2． 5  
( 1981 － ) ， ， ， ， ，  
女 黄淮学院国际教育学院 讲师 硕士  
李福荣  
，
: 、  
研究方向 软件体系结构 软件工程  
。
，
要把网址换成其他高校的贴吧网址 也可以实现其他高校贴吧  
( 1977 － ) ， ， ， ， ，  
男 博士 黄淮学院建筑工程学院 讲师  
贾志刚  
。
数据的爬取  
， :  
博士 研究方向 岩土工程  
。
2． 6  
运行程序  
D
将程序编辑好 运行该程序 显示运行成功 可在电脑  
，
，
。
hhbar． csv， ，  
打开文件 可以看到爬取的贴吧  
盘根目录找到文件  
， 5  
内容 如图 所示  
。
35  

相关下载

全部评论(0)

暂无评论
评论赚积分>>

上传资源 上传优质资源有赏金

热门标签

更多>>

最新上传

  • 打赏
  • 30日榜单

热门下载

推荐下载

本站上的所有资源均为源于网上收集或者由用户自行上传，仅供学习和研究使用，无任何商业目的，版权归原作如有侵权，请 来信指出，本站将立即改正。

ICP许可证号：京ICP证070360号     21IC电子网 2000- 版权所有

京ICP备11013301号

京公网安备 11010802024343号