您现在的位置是：首页 > 技术资料 > Python 数据挖掘在高校人才引进中的应用

推荐星级：

Python 数据挖掘在高校人才引进中的应用

更新时间：2019-12-23 12:31:36 大小：2M 上传用户：songhuahua 查看TA发布的资源 标签：python 数据挖掘 下载积分：1分评价赚积分（如何评价?）打赏收藏评论(0) 举报

资料介绍

随着大数据时代的来临、互联网技术的快速发展,如何从海量数据中挖掘出潜在的、有价值的信息,成为当下热门的研究和实践方向之一。Python因其强大的科学计算能力成为数据挖掘领域不可或缺的工具。基于Python语言对高校人事、科研及互联网数据进行挖掘和分析,构建人才发现系统,为高校引进高水平人才提供决策支持。

部分文件列表

文件名	大小
Python_数据挖掘在高校人才引进中的应用.pdf	2M

立即下载

【关注视频号领20积分】【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）

《中国教育信息化》编辑部：mis@moe. edu. cn

教育大数据

Python 数据挖掘在高校人才引进中的应用

ꢉ

陈镭，张凡龙

ꢍ

（南京审计大学人力资源部，江苏南京

ꢉꢃ

；

ꢍꢉꢉ8ꢉꢋ

南京审计大学信息工程学院，江苏南京

）

ꢍꢉꢉ8ꢉꢋ

ꢍꢃ

摘

要：随着大数据时代的来临、互联网技术的快速发展，如何从海量数据中挖掘出潜在的、有价值的

信息，成为当下热门的研究和实践方向之一。因其强大的科学计算能力成为数据挖掘领域不可或缺

Python

语言对高校人事ꢁ科研及互联网数据进行挖掘和分析，构建人才发现系统，为高校引

的工具ꢀ 基于

Python

进高水平人才提供决策支持ꢀ

关键词：；

Python ꢀcrapy

网络爬虫；数据挖掘；；人才引进

ꢀklearn

中图分类号：

TP3ꢉꢉ

文献标志码：

文章编号：（）

ꢉꢓꢔ3-8ꢑꢋꢑ ꢍ0ꢉꢒ ꢉꢋ-00ꢋꢍ-03

ꢕ

一、引言

数据挖掘技术是一门涉及数理统计、人工智能以及

知识工程等领域的新兴交叉学科，包含一套完整的过

大数据时代，数据的规模在不断扩大，数据呈现出

体量大、多样性、价值密度变低、关系复杂的特点。从一

般的信息系统中获取具有决策价值的信息变得越来越

困难ꢀ 如何做好高校人才队伍长期发展规划，满足高校

快速发展当中对高水平人才的需要，人事管理部门迫切

需要拥有智慧的信息系统，对目前掌握的大量人事ꢁ科

研、教学信息进行分析、挖掘，对学校引进人才进行科学

规划与评测，对在校人员进行科学培养与管理提供决策

支持ꢀ

[1]

程ꢀ 该过程首先从数据库、数据仓库或大数据集中抽取

潜在有价值的知识、模型或规则，然后使用这些知识做

出决策ꢀ 换一种说法，数据挖掘技术是通过多种复杂算

法，在大量未加工数据中发现数据间潜在关系以及有效

知识ꢀ 近年来，数据挖掘技术在金融业、零售业、医疗和

电信等多种行业都取得了显著成果ꢀ

语言是当今最热门的程序设计语言之一ꢀ 它

Python

是一种面向对象的语言，拥有较好的交互性、解释性ꢀ

基金项目：本文系国家自然科学基金青年项目“面向鲁棒特征提取的矩阵秩极小化问题研究”（

）ꢀ

ꢓꢉꢓ03ꢉꢒꢍ

向数据驱动的精准教学

北京科学出版社

ꢊ

[5]Steve Kearns.ꢀix Reasons Businesses Need to Pay

[M]ꢃ

，ꢍꢌꢉ8ꢃ3ꢊꢍꢍꢑꢃ

北京北京

罗照盛认知诊断评价理论基础

ꢃ

Attention to Unstructured Data [Eꢁ/OL]. http：ꢂꢂwwwꢃ

itbusinessedge.comꢂslideshowsꢂsix -reasons -businesses -

need-to-pay-attention-to-unstructured-data-0ꢄꢃhtmlꢃ

[6]Yuejin Xu， Noah Reynoldsꢃ Using Text Mining

[ꢉ0]

[M]ꢃ

ꢊ

师范大学出版社

，ꢍ0ꢉꢒꢃꢍꢊ3ꢃ

付志慧多维项目反应模型应用理论

ꢃ

北京

ꢊ

[ꢉꢉ]

科学出版社

[M]ꢃ

，ꢍ0ꢉꢔꢃ3ꢊ3ꢃ

’

Techniques to ꢅnalyze ꢀtudents Written Responses to ꢅ

张琪编著学习分析技术与方法

ꢃ

北京科学

ꢊ

[ꢉꢍ]

出版社

[M]ꢃ

Teacher Leadership Dilemma [ꢅ]ꢃProceedings of the 2011

4th Iꢆꢆꢆ International Conference on Computer ꢀcience

and ꢇnformation Technology [C]ꢃNew Yorkꢈ ACM

，ꢍ0ꢉ8ꢃꢉꢍꢊꢓ-ꢔꢃ

刘月霞郭华主编深度学习

—

——走向核心素养

，ꢍ0ꢉ8ꢃꢉꢉꢊꢓ-ꢔꢃ

刘三杨宗凯量化学习——数据驱动下的学

[ꢉ3]

，

ꢃ

北京教育科学出版社

[M]ꢃ

ꢊ

石月凤刘三刘智韩继辉彭晛基于社会网络

，，，， ꢃ

—

[7]

[ꢉꢑ]

，

ꢃ

分析的在线学习行为分析实证研究中国教育信息化

[J]ꢃ

习行为分析

北京科学出版社

ꢊ ，ꢍ0ꢉꢓꢃꢓꢊ8ꢋꢃ

，

[M]ꢃ

祝智庭孙妍妍彭红超解读教育大数据的文化

2019(ꢉ)ꢊꢋ-ꢉꢌꢃ

[ꢉꢋ]

意蕴[J]ꢃ电化教育研究，ꢍ0ꢉꢔ(ꢉꢐꢊꢍꢒꢃ

孔兴隆运用学业质量检测数据，诊断与改进学

，

ꢃ

刘三周东波李浩孙建文于杰基于地图的教

，，，， ꢃ

[8]

育大数据可视分析方法探讨电化教育研究

[J]ꢃ

，ꢍꢌꢉꢎ(ꢏꢐꢊ

[ꢉꢓ]

ꢃ

生的学习考试研究

[J]ꢃ

ꢑꢒ-ꢋꢓꢃ

，ꢍ0ꢉꢓ(3ꢐꢊꢓ3ꢃ

杨现民田雪松中国基础教育大数据走

， ꢃ ꢍꢌꢉꢓ-ꢍꢌꢉꢔꢊ

（编辑：王天鹏）

[ꢒ]

中国教育信息化／2019.15

《中国教育信息化》编辑部：mis@moe. edu. cn

教育大数据

发展势头迅猛，在

年热门计算机语言排行

数据预处理

Python

中，

2017

，排名第一。开源社区

Pyꢀhon

数据预处理阶段首先对数据库中的各种数据进行

清洗，填充空数据，更正无效数据，排除无关联属性数据

等非正常数据。工具包的

已超过

和

Pyꢀhon

用户活跃，越来越多的支持数据挖掘各项技术的代码库

被开发出来，使其拥有强大的科学计算能力。目前

语言是数据挖掘领域中最热门的工具之一。本文

Java

、、

Numpy ꢂandas Maꢀploꢀlib

ꢂyꢀhon

等工具提供了强大的数据处理及矩阵运算能力。数据预

处理阶段一般对数据进行批量操作。利用以上

ꢂyꢀhon

具包，结合数据预处理相关技术，就能够快速、大批量地

对非法格式数据进行格式化操作。

数据挖掘建模

Pyꢀhon

详细介绍了

语言在数据挖掘领域简易而强大的

工

Pyꢀhon

功能，在对大量科研人员成果数据进行挖掘分析的基础

上，指导高校人才引进工作。

二、技术可行性

数据挖掘的一般步骤为问题定义、数据采集、数据

基于

编写的

库在机器学习、数据挖

ꢄklearn

ꢂyꢀhon

存储、数据预处理、数据建模和模型评估。

在数据

掘领域具有很高的知名度，库中包含大量数据挖掘和

机器学习的经典算法。同时库中也含有丰富的测试调

试工具，对算法运行过程中所需参数进行调整和优化。

Pyꢀhon

挖掘中的关键步骤如图所示。

ꢁ

数据来源有两处，一是从现有人事、科研系统导

入，二是使用框架爬取网络数据。然后把这些爬

Scrapy

工具包中封装的经典算法有分类、回归、聚类、

ꢄklearn

关联规则、降维等，另外还包含模型选择和模型评估等

模块。

到的数据使用

包存储到

数据库，从

MongoDB

pymongo

而在后续分析中使用。在数据预处理及数据挖掘阶段

常用的工具包，包含

、、、

Numpy ꢂandas Maꢀploꢀlib

三、系统分析与设计

ꢂyꢀhon

等。

本文将人事、科研系统数据和知网科研论文数据集

成，对这些数据进行深度挖掘和统计分析，构建人才发

现系统，从而实现高校人才发现、人才科研评价和研究

热点发现等功能，为高校职能部门和高层决策者提供多

Skleꢃrn

维度的智能分析功能。

[3]

人才发现

数据采集模块使用

工具自动抓取知网已收

ꢄcrapy

录的中、外文论文数据，作为人才发现的基础数据。

Web

MongoDB

网页解析模块提取数据并按照指定格式存储到

数据库。数据预处理模块用于统一数据格式，清除重复

样本，清除疑似错误异常的样本，清除偏离整体分布的

样本，过滤无效样本。数据挖掘模块综合考虑论文标题、

关键词、作者及其单位、合作者及其单位、发表时间、发

表期刊、期刊级别、引用次数、下载次数、中图分类号等

信息。科学分配权重，设计算法，建立挖掘模型，最终返

回所关注学科的研究人员列表，对高层次人才引进工作

起到辅助作用。

图

数据挖掘流程图

Python

[2]

数据采集

通过爬虫技术，可以在指定网站上获取到想要的数

爬虫框架就是使用语言开发并封装的

据。

ꢄcrꢃpy

ꢂyꢀhon

ꢄcrꢃpy

项目，爬虫自动运行，即可

一个强大的爬虫工具。首先创建

项目，然后编写

定制的爬虫规则，运行

ꢄcrꢃpy

获得想要的网络数据。

人才科研评价

主要对校内现有人员的科研论文发表情况进行分

析。校内现有教学科研人员分为三类——科研为主型、

数据存储

大多数传统意义上的关系型数据库，在存储非单一

数据格式上有较大的困难。通常在爬虫数据中，既有关

系型数据，也有非关系型数据，所以更适合使用

—

科研教学并重型以及教学为主型。人事系统中包含教职

[4]

工的详细信息。在数据预处理的时候，首先去掉一些与

NoꢄQL

非关系型数据库存储。

数据库数据模型更加灵

分类、挖掘无关的字段，如姓名、手机号码、家庭住址等，

保留与分类和规则挖掘相关字段，如职工编号，以区分

各教职工。为了便于对被评测的教师进行挖掘分析，需

对各字段离散化。职称分为“初级、中级、副高、正高”，分

NoꢄQL

活，数据间不存在关系，从而数据读写更简易，数据扩展

更方便。本文研究选择当前热门的数据库，对

MongoDB

爬取的数据进行导入后存储，供后序操作使用。

The Chinese Journal of ICꢀ in Educꢁtion

全部评论(0)

暂无评论

评论赚积分>>

上传资源上传优质资源有赏金

Python 数据挖掘在高校人才引进中的应用

资料介绍

部分文件列表

部分页面预览

相关下载

全部评论(0)

热门标签

最新上传

热门下载

推荐下载

专栏首页