积分商城

最新搜索： ispLEVER sonar NE555.PDF BRIGHTEK 电解电容封装库 modelsim 10.4
您现在的位置是：首页 > 技术资料 > 基于Hadoop和Python的高校图书馆个性化服务的研究与应用
推荐星级：
  • 1
  • 2
  • 3
  • 4
  • 5

基于Hadoop和Python的高校图书馆个性化服务的研究与应用

更新时间：2019-12-22 14:52:31 大小：1M 上传用户：songhuahua查看TA发布的资源 标签：python 下载积分：1分 评价赚积分 （如何评价?） 打赏 收藏 评论(0) 举报

资料介绍

基    金】 北京中医药大学自主科研课题，项目名称:基于大数据的学生个人画像，项目编号:2017-JYB-JS-034


部分文件列表

文件名 大小
基于Hadoop和Python的高校图书馆个性化服务的研究与应用.pdf 1M

【关注视频号领20积分】   【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）
No.6  
M a r c h ，2 0 1 9  
无线互联科技  
Wireless Internet Technology  
第6期  
2019年3月  
基于Hadoop和Python的  
高校图书馆个性化服务的研究与应用  
刘 哲  
（北京中医药大学 信息中心，北京 100029）  
摘
要：大数据背景下，如何利用信息化技术，掌握在校学生的阅读习惯，在海量的图书资源中，快速有效地找到需要的书籍，  
为学生提供个性化服务推荐，是文章研究的主要目的。主要研究方法是通过 Sqoop 工具将北京中医药大学数据中心 8 304 名  
学生的图书借阅信息同步到 Hadoop 平 台 并 进 行 整 理 ，以 Python 作 为 数 据 处 理 语 言，通 过 K-means 聚类算法获取有相似阅读  
习惯的书籍。处理结果可以将有相似阅读习惯的学生挖掘出来，将他们所阅读的书籍作为互相推荐的依据，实现了个性化的图  
书服务。但当前的研究也存在局限性，即不包括半结构化的电子阅读信息的采集和分析。文章通过对研究进行结果分析，提供  
了一种个性化图书服务的框架和处理方法，并实现了个性化图书推荐，为提供个性化服务的研究提供了一种思路和方法。  
关键词：大 数 据 ；高 校 图 书 馆 ；个 性 化 服 务  
随着大数据和人工智能的到来，在信息爆炸的今天，传 是获取学生所有借阅图书的基本大类，按照分类号分组统计  
统的借阅方式已经不能满足高校学生高质量的阅读的要求。 书籍的数量，确定学生借读的广度和深度，是否与本专业相  
高校图书馆与学生之间不再是一个简单的借阅关系，而应该 关等信息，来了解学生个性化阅读的习惯。  
根据学生的兴趣爱好、阅读习惯、所关注的热点等信息，有  
针对性地快速提供个性化服务推荐[1]，提 高 学 生 的 阅 读 效 率  
2
基于Hadoop平台的数据采集  
随着云计算、大数据等技术的兴起与发展，教育信息化  
和质量。随着高校信息化的蓬勃发展，高校数据中心日趋完 领域也迎来了大数据技术带来的机遇和挑战。高校各业务系  
善，数据量指数级增长，大数据平台的数据存储与处理已经 统和互联网数据的极速增长，利用海量数据分析和挖掘学  
在高校中应用的越来越广泛。本文利用Sqoop工具[2]，将 学 生 生的行为轨迹、消费习惯，学习成绩、就业倾向，创建学生个  
阅读相关的数据同步到Hadoop平台[3]的Hive表 中 ，利 用 Hive 人画像等，已经成为智慧化校园面对的挑战。  
所提供的完整SQL语句对数据进行整理，对整理后的数据  
Hadoop是Apache基金会维护的分布式系统基础架构[7]，  
利用Python语言[4]进行分析，根据学生的阅读习惯进行聚 它实现了一个分布式文件生态系统（Hadoop Distributed File  
类，找到相似阅读兴趣的学生，获取他们的阅读书籍，相互 System，HDFS），通 过 Map Reduce的 技 术 ，来 满 足 海 量 数  
推荐，实现个性化服务。  
中国图书馆图书分类方法  
据存储和高性能的分析处理[8]。同 时 ，Hadoop有HBase、  
Hive、Pig、Sqoop等 众 多 开 源 项 目 的 支 持 ，形 成 了 一 个 完  
1
中国图书馆图书分类法[5]是按照图书的内容、形式、体 善的、选择多样的大数据解决方案。Cloudera公司推出了  
裁和读者用途等，在一定的哲学思想指导下，运用知识分类 Hadoop集成发行版本[9]，极 大 地 简 化 了 大 数 据 平 台 的 部 署  
的原理，采用逻辑方法，将所有学科的图书按其学科内容分 和 维 护 流 程 。本 文 选 择 了Cloudera的开源版本CDH5，构 建  
成几大类，每一大类下分许多小类，每一小类下再分小类。 了一 个 5台物理机节点的大数据分析平台（5个存储计算结  
最后，每一种书都可以分到某一个类目下，每一个类目都有 点，2个管理节点），每个节点64 G内存，2路4核CPU，1 T的  
一个类号。分类词表是层次结构的类号和类目的集合。中国 存储空间，各节点之间通过千兆以太网互联互通，完全能满  
图书馆分类法，简称《中图法》，现为第5版 。包 括 马 列 主 义 、 足学校的数据分析需求。  
毛泽东思想，哲学，社会科学，自然科学，综合性图书5大部  
类，22个基本大类。  
本文采集全校8 304名 在 读 学 生 的 借 阅 数 据 ，采 用 增 量  
追 加 ，编 写 Shell批量命令到文件SqoopTime.sh，设 置 每 天  
北京中医药大学图书馆的所有图书都是按照中国图书 执 行 一 次 ，保 持 数 据 的 同 步 。采 集 到 Hadoop平台的数据，  
馆图书分类方法进行的分类，并且所有图书的基本信息都已 利用Hive中提供了类似SQL的完整查询语句，进行预处  
经录入图书管理系统的数据库[6]。本 文 主 要 的 研 究 方 法 ，就 理 ，处 理 结 果 如 表 1所示，该表按分类号分组统计了每个学  
基金项目：北 京 中 医 药 大 学 自 主 科 研 课 题 ；项 目 名 称 ：基 于 大 数 据 的 学 生 个 人 画 像 ；项 目 编 号 ：2017-JYB-JS-034。  
作者简介：刘哲（1982— ），男，陕 西 汉中人 ，助 理 研 究 员 ，硕 士 ；研 究 方 向 ：数 据 挖 掘 。  
-127-  
No.6  
M a r c h ，2 0 1 9  
第6期  
2019年3月  
无线互联科技·实验研究  
生的阅读量。  
表1 预处理结果  
学号  
3
基于Python的数据分析与处理  
通过HIVE预处理后的数据，并不适合数值计算或数据  
挖掘的格式[10]，本 文 利 用 Python自带的数值分析库Pandas提  
供的pivot_table()函数，将预处理结果进行转换得到二维矩  
阵 ，表 2是学生借阅图书分类矩阵。  
分类号  
阅读量(本)  
20140001004  
20140001012  
20140001012  
20140001012  
R
13  
2
3.1 获取阅读量排前的图书分类  
热 图（ Heatmap）分 析 [11]是可以用颜色变化来反映二维  
矩阵或表格中的数据信息，它可以直观地将数据值的大小以  
定义的颜色深浅表示出来。常根据需要将数据进行物种或  
样品间丰度相似性聚类[12]，将聚类后数据表示在heatmap 图  
上，可将高丰度和低丰度的物种分块聚集，通过颜色梯度及  
相似程度来反映多个样品在各分类水平上群落组成的相似  
性和差异性。Python提 供了一 个 Seaborn库 ，它 主 要 关 注 统 计  
模 型 的 可 视 化 ，该 库 提 供 了 heatmap函数，反映二维矩阵的  
相似度聚类关系，可以得到所有图书22个分类的热图。  
I
K
1
R
7
… …  
R
20180944014  
2
表2 学生借阅图书分类  
学号  
A
0
B
0
C
0
D
0
E
0
0
F
G
0
H
I
J
0
0
K
0
N
0
O
0
P
0
0
Q
0
R
13  
7
S
0
0
T
0
0
X
0
Z
0
0
阅读量  
13  
20140001004  
20140001012  
0
0
0
0
0
2
0
0
0
0
0
1
0
0
0
0
10  
… …  
20180944014  
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
2
0
0
0
0
2
3.2 阅读量数字化分析与处理  
阅种类数，再通过describe()函数获取统计值，结果如表5所  
统计出学生阅读总量后，我们通过Python语言Pandas包 示 。平 均 借 阅 种 类 为 4种 ，借 阅 种 类 标 准 差 3种 ，学 生 个 人 最  
提供的describe()函数获取相关统计值[13]，结 果 如 表 3所示。 大借阅种类18种及借阅种类的四分位数的3个分割点分别为  
在校生中共有4 910人借阅过书籍，其中，平均借阅量3本 ，借 2、3、5。同 样 ，用 分 位 数 将 阅 读 种 类 分 为 4个 等 级 ，我 们 就 可  
阅量标准差4本 ，学 生 个 人 最 大 借 阅 量 72本及借阅量的四分 以得到每个学生在校借阅种类的数字化，如表6所示。  
位数[14]的3个分割点分别为2、3、6。  
表4 阅读量编码  
表3 阅读量的统计值  
阅 读 量（ydl）  
ydl<=2  
1
2<ydl<=3 3<ydl<=6  
ydl>=6  
4
count mean  
4 910  
std  
4
min  
1
25%  
2
50%  
3
75%  
6
max  
72  
编码  
2
3
3
表5 阅读种类的统计值  
分位数回归思想的提出至今已经有近30多 年 了，分 位 数  
回归在理论和方法上都越来越成熟，并被广泛应用于多种  
学科中。它对于实际问题能提供更加全面的分析，无论是线  
性模型还是非线性模型，分位数回归都是一种很好的工具。  
本文用四分位数将阅读量分为4个 等 级（ 见 表 4），这 样 我 们  
就得到了每个在校学生阅读量数字化。  
count mean  
4 910  
表6 阅读种类编码  
std  
min  
1
25%  
50%  
3
75%  
5
max  
18  
4
3
2
种类(fw)  
fw<=2  
1
2<fw<=3  
2
3<fw<=5  
3
fw>=5  
4
3.3 阅读种类数字化分析与处理  
本文分析学生所借图书的种类，并将其作为学生阅读  
是 否 广 泛 的 指 标 。首 先 ，我 们 通 过 分 组 计 数 获 取 每 个 学 生 借  
编码  
-128-  

相关下载

全部评论(0)

暂无评论
评论赚积分>>

上传资源 上传优质资源有赏金

热门标签

更多>>

最新上传

  • 打赏
  • 30日榜单

热门下载

推荐下载

本站上的所有资源均为源于网上收集或者由用户自行上传，仅供学习和研究使用，无任何商业目的，版权归原作如有侵权，请 来信指出，本站将立即改正。

ICP许可证号：京ICP证070360号     21IC电子网 2000- 版权所有

京ICP备11013301号

京公网安备 11010802024343号