积分商城

最新搜索： gp2y1010 keil HFSS RDA5807 电子工程师自学速成 microBUCK和microBRICK直流/直流稳压器解决方案
您现在的位置是：首页 > 技术资料 > Python 数据挖掘在高校人才引进中的应用
推荐星级：
  • 1
  • 2
  • 3
  • 4
  • 5

Python 数据挖掘在高校人才引进中的应用

更新时间：2019-12-23 12:31:36 大小：2M 上传用户：songhuahua查看TA发布的资源 标签：python数据挖掘 下载积分：1分 评价赚积分 （如何评价?） 打赏 收藏 评论(0) 举报

资料介绍

随着大数据时代的来临、互联网技术的快速发展,如何从海量数据中挖掘出潜在的、有价值的信息,成为当下热门的研究和实践方向之一。Python因其强大的科学计算能力成为数据挖掘领域不可或缺的工具。基于Python语言对高校人事、科研及互联网数据进行挖掘和分析,构建人才发现系统,为高校引进高水平人才提供决策支持。


部分文件列表

文件名 大小
Python_数据挖掘在高校人才引进中的应用.pdf 2M

【关注视频号领20积分】   【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）
《中国教育信息化》编辑部：mis@moe. edu. cn  
教育大数据  
*
Python 数据挖掘在高校人才引进中的应用  
ꢉ
陈 镭 ，张凡龙  
ꢍ
（ 南京审计大学 人力资源部，江苏 南京  
ꢉꢃ  
；
ꢍꢉꢉ8ꢉꢋ  
南京审计大学 信息工程学院，江苏 南京  
）
ꢍꢉꢉ8ꢉꢋ  
ꢍꢃ  
摘
要：随着大数据时代的来临、互联网技术的快速发展，如何从海量数据中挖掘出潜在的、有价值的  
信息，成为当下热门的研究和实践方向之一。 因其强大的科学计算能力成为数据挖掘领域不可或缺  
Python  
语言对高校人事ꢁ科研及互联网数据进行挖掘和分析，构建人才发现系统，为高校引  
的工具ꢀ 基于  
Python  
进高水平人才提供决策支持ꢀ  
关键词： ；  
Python ꢀcrapy  
网络爬虫；数据挖掘； ；人才引进  
ꢀklearn  
中图分类号：  
TP3ꢉꢉ  
文献标志码：  
文章编号： （ ）  
ꢉꢓꢔ3-8ꢑꢋꢑ ꢍ0ꢉꢒ ꢉꢋ-00ꢋꢍ-03  
ꢕ
一、引言  
数据挖掘技术是一门涉及数理统计、人工智能以及  
知识工程等领域的新兴交叉学科， 包含一套完整的过  
大数据时代，数据的规模在不断扩大，数据呈现出  
体量大、多样性、价值密度变低、关系复杂的特点。 从一  
般的信息系统中获取具有决策价值的信息变得越来越  
困难ꢀ 如何做好高校人才队伍长期发展规划，满足高校  
快速发展当中对高水平人才的需要，人事管理部门迫切  
需要拥有智慧的信息系统， 对目前掌握的大量人事ꢁ科  
研、教学信息进行分析、挖掘，对学校引进人才进行科学  
规划与评测，对在校人员进行科学培养与管理提供决策  
支持ꢀ  
[1]  
程ꢀ 该过程首先从数据库、数据仓库或大数据集中抽取  
潜在有价值的知识、模型或规则，然后使用这些知识做  
出决策ꢀ 换一种说法，数据挖掘技术是通过多种复杂算  
法，在大量未加工数据中发现数据间潜在关系以及有效  
知识ꢀ 近年来，数据挖掘技术在金融业、零售业、医疗和  
电信等多种行业都取得了显著成果ꢀ  
语言是当今最热门的程序设计语言之一ꢀ 它  
Python  
是一种面向对象的语言， 拥有较好的交互性、 解释性ꢀ  
基金项目：本文系国家自然科学基金青年项目“面向鲁棒特征提取的矩阵秩极小化问题研究”（  
）ꢀ  
ꢓꢉꢓ03ꢉꢒꢍ  
*
向数据驱动的精准教学  
北京 科学出版社  
ꢊ
[5]Steve Kearns.ꢀix Reasons Businesses Need to Pay  
[M]ꢃ  
，ꢍꢌꢉ8ꢃ3ꢊꢍꢍꢑꢃ  
北京 北京  
罗照盛 认知诊断评价理论基础  
ꢃ
Attention to Unstructured Data [Eꢁ/OL]. http：ꢂꢂwwwꢃ  
itbusinessedge.comꢂslideshowsꢂsix -reasons -businesses -  
need-to-pay-attention-to-unstructured-data-0ꢄꢃhtmlꢃ  
[6]Yuejin Xu， Noah Reynoldsꢃ Using Text Mining  
[ꢉ0]  
[M]ꢃ  
ꢊ
师范大学出版社  
，ꢍ0ꢉꢒꢃꢍꢊ3ꢃ  
付志慧 多维项目反应模型应用理论  
ꢃ
北京  
ꢊ
[ꢉꢉ]  
科学出版社  
[M]ꢃ  
，ꢍ0ꢉꢔꢃ3ꢊ3ꢃ  
’
Techniques to ꢅnalyze ꢀtudents Written Responses to ꢅ  
张琪编著 学习分析技术与方法  
ꢃ
北京 科学  
ꢊ
[ꢉꢍ]  
出版社  
[M]ꢃ  
Teacher Leadership Dilemma [ꢅ]ꢃProceedings of the 2011  
4th Iꢆꢆꢆ International Conference on Computer ꢀcience  
and ꢇnformation Technology [C]ꢃNew Yorkꢈ ACM  
，ꢍ0ꢉ8ꢃꢉꢍꢊꢓ-ꢔꢃ  
刘月霞 郭华主编 深度学习  
—
——走向核心素养  
，ꢍ0ꢉ8ꢃꢉꢉꢊꢓ-ꢔꢃ  
刘三 杨宗凯 量化学习——数据驱动下的学  
[ꢉ3]  
，
ꢃ
北京 教育科学出版社  
[M]ꢃ  
ꢊ
石月凤 刘三 刘智 韩继辉 彭晛 基于社会网络  
， ， ， ， ꢃ  
—
[7]  
[ꢉꢑ]  
，
ꢃ
分析的在线学习行为分析实证研究 中国教育信息化  
[J]ꢃ  
习行为分析  
北京 科学出版社  
ꢊ ，ꢍ0ꢉꢓꢃꢓꢊ8ꢋꢃ  
，
[M]ꢃ  
祝智庭 孙妍妍 彭红超 解读教育大数据的文化  
2019(ꢉ)ꢊꢋ-ꢉꢌꢃ  
[ꢉꢋ]  
意蕴[J]ꢃ电化教育研究，ꢍ0ꢉꢔ(ꢉꢐꢊꢍꢒꢃ  
孔兴隆 运用学业质量检测数据，诊断与改进学  
，
，
ꢃ
刘三 周东波 李浩 孙建文 于杰 基于地图的教  
， ， ， ， ꢃ  
[8]  
育大数据可视分析方法探讨 电化教育研究  
[J]ꢃ  
，ꢍꢌꢉꢎ(ꢏꢐꢊ  
[ꢉꢓ]  
ꢃ
生的学习 考试研究  
[J]ꢃ  
ꢑꢒ-ꢋꢓꢃ  
，ꢍ0ꢉꢓ(3ꢐꢊꢓ3ꢃ  
杨现民 田雪松 中国基础教育大数据 走  
， ꢃ ꢍꢌꢉꢓ-ꢍꢌꢉꢔꢊ  
（编辑：王天鹏）  
[ꢒ]  
中国教育信息化／2019.15  
52  
《中国教育信息化》编辑部：mis@moe. edu. cn  
教育大数据  
发展势头迅猛， 在  
年热门计算机语言排行  
数据预处理  
Python  
中，  
2017  
，排名第一。 开源社区  
Pyꢀhon  
3.  
数据预处理阶段首先对数据库中的各种数据进行  
清洗，填充空数据，更正无效数据，排除无关联属性数据  
等非正常数据。 工具包的  
已超过  
和
Pyꢀhon  
用户活跃，越来越多的支持数据挖掘各项技术的代码库  
被开发出来， 使其拥有强大 的 科 学 计 算 能 力 。 目 前  
语言是数据挖掘领域中最热门的工具之一。 本文  
Java  
C
、 、  
Numpy ꢂandas Maꢀploꢀlib  
ꢂyꢀhon  
等工具提供了强大的数据处理及矩阵运算能力。 数据预  
处理阶段一般对数据进行批量操作。利用以上  
ꢂyꢀhon  
具包，结合数据预处理相关技术，就能够快速、大批量地  
对非法格式数据进行格式化操作。  
数据挖掘建模  
Pyꢀhon  
详细介绍了  
语言在数据挖掘领域简易而强大的  
工
Pyꢀhon  
功能，在对大量科研人员成果数据进行挖掘分析的基础  
上，指导高校人才引进工作。  
二、技术可行性  
4.  
数据挖掘的一般步骤为问题定义、数据采集、数据  
基于  
编写的  
库在机器学习、数据挖  
ꢄklearn  
ꢂyꢀhon  
存储、数据预处理、数据建模和模型评估。  
在数据  
掘领域具有很高的知名度， 库中包含大量数据挖掘和  
机器学习的经典算法。 同时库中也含有丰富的测试调  
试工具，对算法运行过程中所需参数进行调整和优化。  
Pyꢀhon  
挖掘中的关键步骤如图 所示。  
ꢁ
数据来源有两处， 一是从现有人事、 科研系统导  
入，二是使用 框架爬取网络数据。 然后把这些爬  
Scrapy  
工具包中封装的经典算法有分类、回归、聚类、  
ꢄklearn  
关联规则、降维等，另外还包含模型选择和模型评估等  
模块。  
到的数据使用  
包存储到  
数据库，从  
MongoDB  
pymongo  
而在后续分析中使用。 在数据预处理及数据挖掘阶段  
常用的 工具包，包含  
、 、 、  
Numpy ꢂandas Maꢀploꢀlib  
三、系统分析与设计  
ꢂyꢀhon  
等。  
本文将人事、科研系统数据和知网科研论文数据集  
成，对这些数据进行深度挖掘和统计分析，构建人才发  
现系统，从而实现高校人才发现、人才科研评价和研究  
热点发现等功能，为高校职能部门和高层决策者提供多  
Skleꢃrn  
维度的智能分析功能。  
[3]  
人才发现  
1.  
数据采集模块使用  
工具自动抓取知网已收  
ꢄcrapy  
录的中、外文论文数据，作为人才发现的基础数据。  
Web  
MongoDB  
网页解析模块提取数据并按照指定格式存储到  
数据库。 数据预处理模块用于统一数据格式，清除重复  
样本，清除疑似错误异常的样本，清除偏离整体分布的  
样本，过滤无效样本。 数据挖掘模块综合考虑论文标题、  
关键词、作者及其单位、合作者及其单位、发表时间、发  
表期刊、期刊级别、引用次数、下载次数、中图分类号等  
信息。 科学分配权重，设计算法，建立挖掘模型，最终返  
回所关注学科的研究人员列表，对高层次人才引进工作  
起到辅助作用。  
图
数据挖掘流程图  
Python  
1
[2]  
数据采集  
1.  
通过爬虫技术，可以在指定网站上获取到想要的数  
爬虫框架就是使用 语言开发并封装的  
据。  
ꢄcrꢃpy  
ꢂyꢀhon  
ꢄcrꢃpy  
项目，爬虫自动运行，即可  
一个强大的爬虫工具。 首先创建  
项目，然后编写  
定制的爬虫规则，运行  
ꢄcrꢃpy  
获得想要的网络数据。  
人才科研评价  
2.  
主要对校内现有人员的科研论文发表情况进行分  
析。 校内现有教学科研人员分为三类——科研为主型、  
数据存储  
2.  
大多数传统意义上的关系型数据库，在存储非单一  
数据格式上有较大的困难。 通常在爬虫数据中，既有关  
系型数据，也有非关系型数据，所以更适合使用  
—
科研教学并重型以及教学为主型。 人事系统中包含教职  
[4]  
工的详细信息。 在数据预处理的时候，首先去掉一些与  
NoꢄQL  
非关系型数据库存储。  
数据库数据模型更加灵  
分类、挖掘无关的字段，如姓名、手机号码、家庭住址等，  
保留与分类和规则挖掘相关字段，如职工编号，以区分  
各教职工。 为了便于对被评测的教师进行挖掘分析，需  
对各字段离散化。 职称分为“初级、中级、副高、正高”，分  
NoꢄQL  
活，数据间不存在关系，从而数据读写更简易，数据扩展  
更方便。 本文研究选择当前热门的 数据库，对  
MongoDB  
爬取的数据进行导入后存储，供后序操作使用。  
The Chinese Journal of ICꢀ in Educꢁtion  
53  

相关下载

全部评论(0)

暂无评论
评论赚积分>>

上传资源 上传优质资源有赏金

热门标签

更多>>

最新上传

  • 打赏
  • 30日榜单

热门下载

推荐下载

本站上的所有资源均为源于网上收集或者由用户自行上传，仅供学习和研究使用，无任何商业目的，版权归原作如有侵权，请 来信指出，本站将立即改正。

ICP许可证号：京ICP证070360号     21IC电子网 2000- 版权所有

京ICP备11013301号

京公网安备 11010802024343号