积分商城

最新搜索： ispLEVER ESAM sonar STM8S003 BRIGHTEK 电解电容封装库
您现在的位置是：首页 > 技术资料 > 基于Python的Web数据挖掘应用
推荐星级：
  • 1
  • 2
  • 3
  • 4
  • 5

基于Python的Web数据挖掘应用

更新时间：2019-12-21 09:30:26 大小：2M 上传用户：songhuahua查看TA发布的资源 标签：pythonweb数据挖掘 下载积分：1分 评价赚积分 （如何评价?） 打赏 收藏 评论(0) 举报

资料介绍

网络学习平台高职院校师生互动学习中发挥着重要作用。学生在使用网络学习平台的过程中,产生积累了大量的数据信息,Python作为当前数据挖掘领域最为流行的热门语言,具有强大的数据挖掘及分析的功能。通过利用Python程序对网络学习平台积累的大量的日志信息进行分析,通过这些数据信息挖掘出学生利用网络学习平台学习的规律变化信息,以期为教师的教学辅导提供参考的依据。


部分文件列表

文件名 大小
基于Python的Web数据挖掘应用.pdf 2M

【关注视频号领20积分】   【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）
浙江水利水电学院学报  
Ｊ．Ｚｈｅｉａｎ ＵｎｉｖｏｆＷａｔ．Ｒｅｓ＆ ＥｌｅｃｔｒｉｃＰｏｗ．  
第
卷
第
期
４
Ｖｏｌ．３１ Ｎｏ．４  
ꢀ
３１  
ꢀ
ꢀ
ꢀ
年
月
Ａｕ ．２０１９  
ｇ
ｊ
ｇ
ꢀ
ꢀ ꢀ  
ꢀ
ꢀ
２０１９  
８
：
／
ＤＯＩ １０．３９６９ ．ｉｓｓｎ．２０９５７０９２．２０１９．０４．０１６  
ｊ
ꢀꢀ  
－
基于  
的
Ｐｔｈｏｎ Ｗｅｂ  
ｙ
数据挖掘应用  
，
韦建国 王建勇  
（ ，  
阜阳职业技术学院 安徽 阜阳  
）
２３６０００  
ꢀ
： 。 ，  
要 网络学习平台高职院校师生互动学习中发挥着重要作用 学生在使用网络学习平台的过程中 产生积累  
摘
ꢀ
，
Ｐｔｈｏｎ  
ｙ
， 。  
作为当前数据挖掘领域最为流行的热门语言 具有强大的数据挖掘及分析的功能 通  
了大量的数据信息  
，
程序对网络学习平台积累的大量的日志信息进行分析 通过这些数据信息挖掘出学生利用网络学  
过利用  
Ｐｔｈｏｎ  
ｙ
，
习平台学习的规律变化信息 以期为教师的教学辅导提供参考的依据  
。
： ； ；  
网络学习平台 日志  
Ｐｔｈｏｎ  
ｙ
关键词  
：
：
Ａ
：
文章编号  
１００８－５３６Ｘ２０１９０４００７９０４  
ꢀꢀꢀꢀ  
（
）
中图分类号  
文献标志码  
Ｇ６４２  
ꢀꢀꢀꢀ  
－
－
Ａ ｌｉｃａｔｉｏｎｏｆＷｅｂＤａｔａＭｉｎｉｎ ＢａｓｅｄｏｎＰｔｈｏｎ  
ꢀ ꢀ ꢀ  
ｙ
ꢀ ꢀ  
ꢀ
ｐｐ  
ｇ
ꢀ
，
ＷＥＩＪｉａｎ ｕｏ ＷＡＮＧＪｉａｎ ｏｎ  
ｙ ｇ  
ꢀ
－
ｇ
ꢀ
－
（
，
ｙ ｇ  
ꢀ
，
）
Ｆｕａｎ ＶｏｃａｔｉｏｎａｌａｎｄＴｅｃｈｎｉｃａｌＣｏｌｌｅｅ Ｆｕａｎ ２３６０００ Ｃｈｉｎａ  
ｙ ｇ  
ꢀ
ꢀ
ꢀ
ｇ
ꢀ
：
“
”，  
ＡｂｓｔｒａｃｔＴｈａｎｋｓｔｏｔｈｅｄｅｖｅｌｏ ｍｅｎｔｏｆ ｔｈｅＩｎｔｅｒｎｅｔ＋ｅｄｕｃａｔｉｏｎ ｉｎｈｉｈｅｒｖｏｃａｔｉｏｎａｌｃｏｌｌｅｅｓ ｔｈｅｉｎｔｅｒａｃｔｉｏｎｂｅ  
ꢀ －  
，
ｇ
ꢀ
ꢀ ꢀ  
ꢀ
ｐ
ꢀ
ꢀ
ꢀｇ  
ꢀ
ꢀ
ｔｗｅｅｎｔｅａｃｈｅｒｓａｎｄｓｔｕｄｅｎｔｓｔｈｒｏｕｈｎｅｔｗｏｒｋｌｅａｒｎｉｎ ｌａｔｆｏｒｍｈａｓ ｌａｅｄａｖｅｒ ｉｍ ｏｒｔａｎｔｒｏｌｅｉｎｌｅａｒｎｉｎ ．Ｂ ｔｈｅ  
ｇ ꢀ ｇｐ  
ꢀ ꢀ ꢀ ꢀ ꢀｐ ｙ ꢀꢀ ꢀ ꢀ ꢀ  
ꢀ
ꢀ
ｙ
ꢀ
ｐ
ｇ
ｙ
ꢀ
ꢀ
，
，
ｎｅｔｗｏｒｋｌｅａｒｎｉｎ ｌａｔｆｏｒｍ ｓｔｕｄｅｎｔｓｈａｖｅａｃｃｕｍｕｌａｔｅｄａｌａｒｅａｍｏｕｎｔｏｆｄａｔａｉｎｆｏｒｍａｔｉｏｎ．Ｐｔｈｏｎ ａｓｔｈｅｃｕｒｒｅｎｔ  
ｇｐ  
ꢀꢀ ｇꢀ ꢀ ꢀ ꢀ  
ꢀ
ꢀ
ꢀ
ꢀ
ｙ
ꢀ
ꢀ
，
，
ｏｕｌａｒｌａｎｕａｅｉｎｄａｔａｍｉｎｉｎ ａｒｅａ ｈａｓａｓｔｒｏｎ ｆｕｎｃｔｉｏｎｏｆｄａｔａｍｉｎｉｎ ａｎｄａｎａｌｓｉｓ．Ｉｎｔｈｉｓ ａｅｒ ａ ｔｈｏｎ ｒｏ  
ꢀꢀ ꢀ ꢀ ꢀｐｐ ꢀｐ －  
ｐｐ ｇ ｇꢀ ꢀ ｐｙ  
ꢀ
ꢀ
ｇ
ꢀ
ｇ
ꢀ
ꢀ
ｇ
ꢀ
ꢀ
ｙ
ꢀ
，
ｒａｍｉｓｕｓｅｄｔｏａｎａｌｚｅａｌａｒｅａｍｏｕｎｔｏｆｌｏ ｉｎｆｏｒｍａｔｉｏｎａｃｃｕｍｕｌａｔｅｄｂ ｏｎｌｉｎｅｌｅａｒｎｉｎ ｌａｔｆｏｒｍｓ ｓｏａｓｔｏｄｉ ｏｕｔ  
ｇｐ  
ꢀ ꢀ ꢀ ꢀ ｙ ꢀꢀ ｇꢀ ꢀꢀ ｇ ꢀｙ ꢀ ꢀ ꢀ ｇ  
ｇ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
，
ｔｈｅｃｈａｎｅｉｎｆｏｒｍａｔｉｏｎｏｆｓｔｕｄｅｎｔｓｌｅａｒｎｉｎ ｂ ｕｓｉｎ ｏｎｌｉｎｅｌｅａｒｎｉｎ ｌａｔｆｏｒｍｓ ｒｏｖｉｄｉｎ ｒｅｆｅｒｅｎｃｅｂａｓｉｓｆｏｒ  
ꢀ
ꢀ
ｇꢀ  
ꢀ ꢀ  
ｇ ｙ  
ꢀ ꢀ  
ｇ
ꢀ
ꢀ
ｇ ｐ  
ꢀ
ｐ
ｇ
ꢀ
ꢀ
ｔｅａｃｈｅｒｓｔｅａｃｈｉｎ ．  
ｇ
：
；
；
Ｋｅ ｗｏｒｄｓＰｔｈｏｎ ｎｅｔｗｏｒｋｌｅａｒｎｉｎ ｌａｔｆｏｒｍ ｌｏ  
ｇ
ｙ
ꢀ
ｇｐ  
ꢀ
ｙ
ꢀ
［］  
１
。
提高数据挖掘 效率 本文 主要 是基 于  
， ，  
近年来 大数据与云计算等技术迅猛发展 各  
对
Ｐｔｈｏｎ  
ｙ
ꢀꢀ  
行各业积累出来的大量数据也由此引起了人们的  
，
网络学习平台积累的数据进行挖掘分析 以期挖掘  
，
高度重视 如何从这些积累的数据中挖掘出有价值  
。
出有参考意义的数据信息  
， ，  
的信息 成为了人们研究的热点 数据挖掘技术也  
数据挖掘概述  
１ Ｗｅｂ  
ꢀ
，
Ｐｔｈｏｎ  
ｙ
由此兴盛起来  
在数据挖掘领域中的地位也  
，
逐渐突显出来 成为较热门的数据挖掘工具 之一  
。
（
）
最早起源于  
数据挖掘  
Ｗｅｂ  
ｗｅｂｄａｔａｍｉｎｉｎ  
ꢀ ꢀ  
ｇ
，
是一种面向对象的开源程序设计语言 它的  
Ｐｔｈｏｎ  
ｙ
，
年 是数据挖掘技术与  
技术相结合的产  
１９９６  
Ｗｅｂ  
，
语法结构较为简单 它是由  
开
ＧｕｉｄｏｖａｎＲｏｓｓｕｍ  
ꢀ ꢀ  
， 。  
物 又称知识发现 此技术主要通过从网页中积累  
，
发的 它具有丰富的库和丰富的  
。
运用其中的  
ＡＰＩ  
，
的大量数据信息中抽取出有意义的信息 然后通过  
、
ｓｋｌｅａｒｎ ａｎｄａｓ  
ｐ
，
等工具库 将会有效地  
以及  
ｎｕｍ  
ｐｙ  
， ，  
数据挖掘处理 挖掘出其中隐藏的数据 信息 分 析  
，
现有的数据 根据数据呈现出来的结果进行预测性  
：
收稿日期  
２０１９０２１８  
－ －  
：
基金项目 安徽省高校自然科学研究重点项目  
（
）；  
ＫＪ２０１７Ａ６０８  
。
判断 随着 大数 据技术和  
，
技术的大 力 发 展  
Ｗｅｂ  
（
）
安徽省高校质量工程项目  
２０１７ＺＨＫＴ３４９  
）， ， ， ， ，  
男 安徽阜阳人 讲师 硕 士 研 究  
数据挖掘已成为数据挖掘领域中使用较为广  
Ｗｅｂ  
，
泛的应用之一 通过  
：
（
作者简介 韦建国  
１９８１－  
。
方向 计算机应用 网络安全和数据挖掘  
：
、
挖掘可以实现用户行为的  
Ｗｅｂ  
浙江水利水电学院学报  
第
卷
３１  
８０  
， 。  
分析 通过分析挖掘出有参考价值的规则 从长远  
（
）。  
掘的流程 见图  
１
［］  
２
。
，
来看 具有较大的商业和科研价值  
数据挖  
Ｗｅｂ  
图
数据挖掘流程  
１
ꢀ
Ｗｅｂ  
数据挖掘常用的  
库
基于  
的
Ｐｔｈｏｎ Ｗｅｂ  
ｙ
数据挖掘  
２
Ｐｔｈｏｎ  
ｙ
３
ꢀ
ꢀ
（）  
１Ｓｋｌｅａｒｎ  
语言是一种面向对象的具有良好的解  
Ｐｔｈｏｎ  
ｙ
，
，
释性和交互性能的程序设计脚本语言 目前应用较  
库是数据 挖 掘 中 的 核 心 工 具 库 之 一  
Ｓｋｌｅａｒｎ  
是基于  
，
语言编写的 该库中 提供 了 数 据挖  
，
为广泛 运用  
语言编写的程 序具有以 下优  
Ｐｔｈｏｎ  
ｙ
Ｐｔｈｏｎ  
ｙ
， 、 、  
掘中的大量算法 如分类算法 回归算法 降维算法  
：
点
， ，  
等 同时还有这些算法的使用接口和调试工具 是  
（）  
具有高效的程序开发与维护性能  
１
；
［］  
３
。
一种简单有效的数据挖掘工具  
（）  
可读性强  
２
；
（）  
与
２ Ｐａｎｄａｓ Ｎｕｍ  
（）  
使用此脚本语言所编写的结构化代码较为  
３
ｐｙ  
和
Ｐａｎｄａｓ Ｎｕｍ  
ｐｙ  
也是  
数据挖掘技术  
， 。  
简洁易懂 适合于初学者  
Ｐｔｈｏｎ  
ｙ
，
中的核心工具库成员 其中  
是基于  
Ｐｔｈｏｎ  
ｙ
Ｎｕｍ  
ｐｙ  
脚本语言所具有的以上优点使其一跃  
Ｐｔｈｏｎ  
ｙ
［］  
６
。
其主要的功能主  
， ，  
开发的 支持多种运算的开源工具库 具有较高的  
成为当前主流的程序设计语言  
， ；  
运算性 能 同 时 还 提 供 了 多 种 数 学 计 算 工 具 而  
：
要体现在以下方面  
库是在  
基础上开发的数据分析工具  
Ｐａｎｄａｓ  
Ｎｕｍ  
ｐｙ  
（）  
网络爬虫  
１
， 、 、  
包 根据统计结果进行数据清洗 缺失处理 降噪等  
，
随着计算机网络技术的迅猛发展 网络上积累  
［］  
４
，
操作 实现对数据的有效处理  
。
。
了大量的数据信息 日益增长的大量自定向 数据  
（）  
３ Ｏ ｅｎ ｘｌ  
ｐ ｐｙ  
库
获取需要和大量的数据搜索需求推动了爬虫技术  
／
是 一 个 用 于 读 写  
Ｏ ｅｎ ｘｌ  
ｐ ｐｙ  
Ｅｘｃｅｌ２０１０ｘｌｓｘ  
ꢀ
，
的兴起 同时也带动了搜索引擎技术的不断 发展  
。
／ ／  
ｘｌｓｍ ｘｌｔｘｘｌｔｍ  
，
库 其 功 能 非 常 强  
文 件 的  
Ｐｔｈｏｎ  
ｙ
（ ） ，  
又称为网页蜘蛛 是通过预定义  
Ｓｉｄｅｒ  
ｐ
网络爬虫  
。
，
，
表格可以理解为一个二维矩阵 行用  
Ｅｘｃｅｌ １  
大
。
Ｐｔｈｏｎ  
ｙ
的一组规则获取信息的脚本或程序  
脚本  
［］  
７
。
，，，……  
２３４５  
，
可以用来作为行  
Ｏ ｅｎ ｘｌ  
等表示 在  
ｐ ｐｙ  
语言在网络爬虫设计方面具有自己的优势  
。
索引 列用  
， ， ， ， ，……  
Ａ Ｂ Ｃ Ｄ Ｅ  
，
Ｏ ｅｎ ｘｌ  
ｐ ｐｙ  
表 示 在  
（）  
２Ｓｃｒａｉｎ  
ｐ ｇ  
，
中可以用来当作列索引 描述一个单元格的位置需  
自动网络爬虫框架是基于  
语
Ｐｔｈｏｎ  
ｙ
Ｓｃｒａｉｎ  
ｐ ｇ  
、
要一个行标 一个列标  
。
， 。  
言开发的 它可以实现数据的定向爬取 首先设计  
（）  
４ Ｐ ｍｏｎｏ  
ｙ
库
ｇ
， ， ，  
好爬虫规则 然后在实际运行中 输入规则 就可以  
是一个通过  
Ｐ ｍｏｎｏ  
ｙ ｇ  
操作的封装  
ＭｏｎｏＤＢ  
ｇ ꢀ  
。
快速 获 取 到 所 需 数 据  
程 序 主 要 是 靠  
Ｓｃｒａｉｎ  
ｐ ｇ  
，
库来实现对  
的使用  
是
Ｐ ｍｏｎｏ Ｍｏｎｏ  
ｙ ｇ ｇ  
ＭｏｎｏＤＢ  
ｇ ꢀ  
，
传输控制协议与  
服务器实现数据传递  
ＴＣＰ  
Ｗｅｂ  
ＨＴＴＰ  
服务器实现 爬取首先由  
。
实现版本 此库将  
ＭｏｎｏＤＢ  
ｇ ꢀ  
的
ＤＢＤｒｉｖｅｒ Ｐｔｈｏｎ  
ꢀ
ｙ
数据交 互 主 要 是 依 靠  
超 文 本 传 输 协 议 与  
的交互模块  
ＨＴＴＰ  
数据库的驱动环境与  
版本进行了有效的连  
Ｐｔｈｏｎ  
ｙ
。
Ｗｅｂ  
。
接
使用  
可以对本地或者远程服务器的  
ｍｏｎｏ  
ｐｙ ｇ  
，
的请求 再向  
向
端口发起  
服务器发  
Ｗｅｂ  
Ｗｅｂ  
ＴＣＰ  
，
数据库进行链接 获取到数据资源之后  
，
ＭｏｎｏＤＢ  
ｇ ꢀ  
，
ＨＴＴＰ  
出
的报文请求  
得到  
服务器的  
Ｗｅｂ  
ＨＴＴＰ  
［］  
５
。
再将有用的信息以文档的形式导入数据库  
，
应答后进行包拆封 从拆封的包中提出数据并进行  
， 。  
解析 最后将提取出来的数据进行存储 由于网络  

相关下载

全部评论(0)

暂无评论
评论赚积分>>

上传资源 上传优质资源有赏金

热门标签

更多>>

最新上传

  • 打赏
  • 30日榜单

热门下载

推荐下载

本站上的所有资源均为源于网上收集或者由用户自行上传，仅供学习和研究使用，无任何商业目的，版权归原作如有侵权，请 来信指出，本站将立即改正。

ICP许可证号：京ICP证070360号     21IC电子网 2000- 版权所有

京ICP备11013301号

京公网安备 11010802024343号