积分商城

最新搜索： hdmi cec msp430f425 ADS1115 STM8L例程 UPS 软件下载
您现在的位置是：首页 > 技术资料 > 基于Python的中药材价格信息爬虫的设计
推荐星级：
  • 1
  • 2
  • 3
  • 4
  • 5

基于Python的中药材价格信息爬虫的设计

更新时间：2019-12-20 22:59:37 大小：2M 上传用户：songhuahua查看TA发布的资源 标签：python 下载积分：1分 评价赚积分 （如何评价?） 打赏 收藏 评论(0) 举报

资料介绍

为了收集大量、真实、可靠的中药材价格信息,为中药材价格的预测研究提供强有力的数据支撑。将数据来源方向瞄向互联网,在前期筛选的基础上,最终确立以中药材天地网为目标网站。在深入分析目标网站结构的基础上,基于Python语言设计了一款中药材价格信息爬虫。详细介绍了爬虫模拟请求网页、目标信息提取、信息存储及定时启动部署等环节的实现方法。实际测试结果显示,所设计的爬虫运行稳定,能高效、完整无误的抓取目标网站的信息条目。


部分文件列表

文件名 大小
基于Python的中药材价格信息爬虫的设计.pdf 2M

【关注视频号领20积分】   【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）
2019  
03  
Mar. 2019  
Vol. 36 NO. 2  
年
月
枣庄学院学报  
JOURNAL OF ZAOZHUANG UNIVERSITY  
36  
2
期
第
卷
第
Python  
基于  
的中药材价格信息爬虫的设计  
张喜红  
(
，
亳州职业技术学院 智能工程系 安徽 亳州  
236800)  
［
摘
］ 、 、 ， 。  
要 为了收集大量 真实 可靠的中药材价格信息 为中药材价格的预测研究提供强有力的数据支撑 将数  
， ， 。  
据来源方向瞄向互联网 在前期筛选的基础上 最终确立以中药材天地网为目标网站 在深入分析目标网站结构的  
，
基础上 基于  
Python  
。 、 、  
语言设计了一款中药材价格信息爬虫 详细介绍了爬虫模拟请求网页 目标信息提取 信息存  
。 ， ， 、  
储及定时启动部署等环节的实现方法 实际测试结果显示 所设计的爬虫运行稳定 能高效 完整无误的抓取目标  
。
网站的信息条目  
［ ］ Python;  
关键词  
;
中药材 爬虫  
［
］ TP391  
［
］ A  
［
］ 1004 － 7077 ( 2019) 02 － 0067 － 06  
中图分类号  
文献标识码  
文章编号  
0
引言  
， ，  
伴随着大数据时代的快速到来 人们越来越倾向于借助数据揭示事物内在规律 进而指导决  
［1 － 2］  
.
， ，  
因此 如何利用大数据做好中药材价格走势的及时预测 为中药材市场运营决策提供支撑  
，
策
， . 、 ，  
促进市场有序运营 极具研究意义 目前对于价格推测 分析的方法主要有两类 其一是基于影响  
; .  
价格变化因素采用特定的技术方法进行推理 其二是基于历史数据的推理法 因素法由于影响因子  
、 ， ;  
多维善变 因子权重难于确定等原因 难于建模 时间序列分析是一种基于历史价格数据的变化规  
， .  
律预测未来价格走势的方法 是当前价格预测的主流方法之一 时间序列分析法实施的难点在于如  
［3］  
.
何获取足够多且相对完整的历史价格数据  
， ， 、  
互联网技术自诞生以来 在各行业得到了广泛的应用 互联网在中医 中药领域的应用也达到  
， .  
了前所未有的广度 积累了相当丰厚的网络数据资源 如中药材天地网就积累了相当数量的中药材  
， . ， 、  
价格信息 为时间序列分析法提供了强有力的数据支撑 然而 如何从网络上快速 高效的收集这  
， ， . 、  
些数据 并将其整理为便于分析的结构化数据 是极为关键的一步 网络爬虫是收集 提取网络数  
［4 － 5］  
.
据的主流技术手段  
， ，  
基于上述背景 为了满足基于时间序列分析法开展中药材价格预测研究的数据需求 鉴于  
Py-  
thon  
、 、 ，  
语言在爬虫设计方面具有程序简洁 资源丰富 便于实现等优点 本文以中药材天地网为目标  
，
Python Requests  
，
网站 基于  
语言设计了一款用于中药材价格信息收集的网络爬虫 采用  
， Beautifulsoup  
请求 采用  
模块实现网  
Http  
、
、
，
页的  
实现了目标信息的过滤 解析 提取 最终将目标数据保存为便  
， 、  
于分析的结构化文本文件数据 同时就爬虫的定时启动 抓取进行了介绍  
.
1
爬虫的原理分析  
，
从互联网获取相关信息 最直接的方法是通过浏览器输入  
URL  
Http  
，
请求 请求  
向服务器发起  
［
］ 2018 － 11 － 30  
①
收稿日期  
［ ］  
基金项目 安徽省高校优秀青年人才支持计划项目  
( gxyq2018215) ;  
( KJ2016SD41) ．  
安徽省高校自然科学研究重大项目  
［ ］  
作者简介 张喜红  
( 1983 － ) ，  
(
) ，  
， ， ， ，  
山西朔州人 亳州职业技术学院讲师 工学硕士 山东大学访问学者 主要  
男
汉族  
.
从事计算机技术及应用方面的研究  
·67·  
2019  
2
期
枣庄学院学报  
年第  
Response，  
.
经浏览器解析后呈现给用户 如果用户想统  
成功后服务器返回一个包含目标网页内容的  
、
， ，  
收集某个网站成千上万条的信息记录条 若以浏览器人工访问网页的方式进行 不仅效率低下  
计
［6］  
.
， ， ，  
基于此 爬虫的概念便诞生了 爬虫通俗来讲是一段实现自动访问网页 并自动定向  
且易出错  
提取网页中目标信息的程序 网络爬虫典型的工作流程大致包含如下几个步骤 ①模拟或自动调用  
Python Request  
库的相关方法向服务器发起模  
.
:
;
网页浏览器发送请求并获取网页源码 如在  
中可使用  
， ，  
拟请求 待响应成功后 将返回一个包含多种媒体格式的  
Response.  
、
②过滤 提取网页源码中包含  
Beautifulsoup 、  
等模块的相应方法 定位  
;
的目标信息 即从网页源码中通过  
XPath、  
，
正则表达式或  
. ; ， ，  
提取目标信息 ③将提取的目标信息存储 保存形式多样化 可以保存成文本 也可以保存至数据  
，
.
或者保存成特定格式的文件  
库
2
中药材价格信息爬虫的设计与实现  
2. 1  
目标网页的分析  
， 、 、 4  
中药材天地网自建站以来 其市场价格栏目每天实时公布亳州 安国 玉林及荷花池 个药市  
， ，  
数百种中药材的规格与价格信息 且其公布的中药材价格数据真实可靠 为中药材价格走势的预测  
、
.
URL : http: / /  
提供了真实 可靠的源数据 在网页浏览器中输入药材价格栏目的首页  
地址  
、
可得到图 所示的页面 在页面的价格信息区按品名 规格  
，  
1
，
、
、 ， ，  
市场 当前价格等题头逐行呈现中药材的价格信息 且分多页显示 在页面的底部给出了分页链接  
. ， ， :  
信息 根据上述分析可知 在爬虫的设计过程中 需要解决如下问题 ①获取各个分页的  
URL  
链接  
;
地址 ②提取各分页信息记录条的目标信息  
.
1
图
中药材天地网市场价格栏目局部  
2. 2  
目标信息的获取  
， ，  
如前面所述爬虫要想从网页中提取信息 首先需将网页源码下载到本地 网页源码的下载通过  
·68·  

相关下载

全部评论(0)

暂无评论
评论赚积分>>

上传资源 上传优质资源有赏金

热门标签

更多>>

最新上传

  • 打赏
  • 30日榜单

热门下载

推荐下载

本站上的所有资源均为源于网上收集或者由用户自行上传，仅供学习和研究使用，无任何商业目的，版权归原作如有侵权，请 来信指出，本站将立即改正。

ICP许可证号：京ICP证070360号     21IC电子网 2000- 版权所有

京ICP备11013301号

京公网安备 11010802024343号