您现在的位置是：首页 > 技术资料 > 个体差异对Python爬虫获取教育大数据的影响研究

推荐星级：

个体差异对Python爬虫获取教育大数据的影响研究

更新时间：2019-12-25 09:47:30 大小：2M 上传用户：songhuahua 查看TA发布的资源 标签：python 下载积分：1分评价赚积分（如何评价?）打赏收藏评论(0) 举报

资料介绍

为了调查不同个体之间获取教育大数据途径的差异以及探讨Python爬虫对获取教育大数据的影响,本研究采用问卷调查的形式,对计算机、统计学相关专业的师生进行了调查。本文采用SPSS19.0对收回来的数据进行分析,统计他们常用的教育大数据获取方法,比较不同个体之间获取教育大数据的区别。研究发现,目前获取教育大数据的主要途径还是在线搜索,且不同职业、年级、性别的个体无显著差异,编程经验和年限对Python爬虫获取大数据途径有显著影响,但主观因素影响不大。

部分文件列表

文件名	大小
个体差异对Python爬虫获取教育大数据的影响研究.pdf	2M

立即下载

【关注B站账户领20积分】

部分页面预览

（完整内容请下载后查看）

《中国教育信息化》编辑部：mis@moe. edu. cn

管理信息化

个体差异对 Python 爬虫

获取教育大数据的影响研究

，

1 1 2 3

王世纯，许新华，张洪春，黄嘉成

（湖北师范大学研究生院，湖北黄石

；

4350ꢀꢀ

湖北师范大学教育信息与技术学院，湖北黄石

；

435ꢀꢀꢀ

湖北职业技术学院信息学院，湖北孝感

）

432ꢀꢀꢀ

摘

要：为了调查不同个体之间获取教育大数据途径的差异以及探讨

爬虫对获取教育大数据的

Python

影响，本研究采用问卷调查的形式，对计算机、统计学相关专业的师生进行了调查。本文采用

对收

SPSS19.ꢀ

回来的数据进行分析，统计他们常用的教育大数据获取方法，比较不同个体之间获取教育大数据的区别。研

究发现，目前获取教育大数据的主要途径还是在线搜索，且不同职业、年级、性别的个体无显著差异，编程经

验和年限对爬虫获取大数据途径有显著影响，但主观因素影响不大。

Python

关键词：

Python

；网络爬虫；教育大数据

中图分类号：

G43

文献标志码：

文章编号：（ ꢀ

1673-8454 2ꢀ18 ꢀ9-ꢀꢀ79-ꢀ3

一、引言

伴随着“互联网 ”、物联网、云计算时代的到来，大

对计算机语言使用的熟悉程度也有一定的考验。那么如

何在大量的教育数据中获取我们所需要的、有用的信息

是每一个教育研究者应该考虑的问题。

二、相关概念

数据在我们的生产生活中扮演着越来越重要的角色，可

以说大数据已经渗透到每一个行业。联合国在

年

2012

发布的大数据白皮书《

：

Big Data for Development Chal-

网络爬虫

》中指出大数据的出现将会对社会

网络爬虫（又称网络蜘蛛、网络机器人），是一种按

lenges & Opportunities

[1]

各个领域产生深刻影响。在教育领域，每天都会产生海

[4]

照一定的规则，自动地抓取万维网信息的程序或者脚本。

[2]

量的教育大数据，获取教育大数据的途径也有很多，例

网络爬虫按照系统结构和实现技术，大致可以分为以下

几种类型：通用网络爬虫、聚焦网络爬虫、增量式网络爬

如线下调查、在线搜索、网络调查问卷和网络爬虫等等。

本研究为了探究个体差异对教育大数据获取途径的影

[4]

虫、深层网络爬虫。实际的网络爬虫是由几种爬虫技术

响，对计算机、统计学相关专业师生的编程能力、

结合实现的。随着“互联网ꢀ”的发展，网络信息量呈现出

爆发式增长，仅仅只用搜索引擎已经不能快速、准确地

获取到我们所需要的信息，并且会附带着额外的我们不

需要的广告信息，因此，网络爬虫应运而生。

Python

技术掌握程度以及获取教育大数据的途径进行了调查。

是一种面向对象的解释性计算机程序语言，

Python

其实它问世的时间并不长，但它以其简洁的语法、丰富

的标准库和强大的第三方库，已经完全能够和

、

等

教育大数据

C C++

[2]

语言轻松联结，并重写封装为可用的标准类库，易于扩展。

教育大数据分为广义和狭义，广义的教育大数据泛

指所有来源于日常教育活动中人类的行为数据；狭义的

现已逐渐取代其他大多数计算机编程语言，成为

Python

现在网络爬虫和机器学习的主流工具。

教育大数据为教育信息化的发展带来了新的机遇，

传统的数据收集方法已不能满足日新月异的现代化发

展需求，随着网络爬虫和语言的发展，网络教育

[5]

教育大数据是指学习者学习的行为数据。也有学者认

[3]

为教育大数据指整个教育活动过程中所产生的以及根

据教育需要采集到的，一切用于教育发展并可创造巨大

[6]

潜在价值的数据集合。教育，体现的是一种共享的思想，

Python

数据的获取越来越容易，越来越方便，速度越来越快，但

通过各种技术实现教育数据的收集，本研究主要是了解

基金项目：

年度国家档案局科技计划项目ꢁ编号：

ꢀ；许新华湖北名师工作室（

ꢀ；年度教育部

2ꢀ17-2ꢀ2ꢀ 2ꢀ17

2ꢀ16

2ꢀ16-x-51

人文社科项目（编号：

ꢀ；构建高校实习质量管理服务平台研究（编号：鄂教高函〔

〕

2ꢀ16 1

号

）。

2ꢀ15381

17YJA88ꢀꢀ94

The Chinese Journal of ICꢀ in Educꢁtion

《中国教育信息化》编辑部：mis@moe. edu. cn

管理信息化

网络教育数据的获取。

三、研究过程

研究目标与假设

达到预期数据需求。

在回收的份有效问卷中，男性

ꢂ06

人参与问卷，

占总人数的

，女性

人，占总人数的

；老

33.96%

66.04%

本研究是为了了解计算机、统计学相关专业

师

人，占

，学生

人，占

6ꢃ.ꢃ6%

，还有部分已

Python

爬虫技术掌握情况以及常用的获取教育数据的方式，比

较不同个体之间获取教育大数据的区别，从而探究不同

个体掌握程度、学习编程年限、主观因素对获取

毕业但未从事教育行业的计算机相关专业的人参与了问

卷；其中教育技术学专业为，信息工程为

ꢃ9.ꢃ5%

，

10.38%

66.98%

计算机科学与技术为

，其余小部分为其他专业；

Pyꢀhon

教育大数据的影响。

语言虽然得到极大的发展，但全国很多高校

10.6%

其中本科生

人，研究生

人，已参加工作

人。

信效度分析

本文采用

Pyꢀhon

并没有把

语言作为一门课程，学生对之了解太

进行问卷信度和效度的分析。

SPꢄꢄ19.0

Pyꢀhon

少，技术掌握不够，爬虫技术也不是每一个计算机专业

的人都会掌握。因此，我们大胆假设：近几年获取教育大

数据的主要途径还是在线搜索，并且学生与老师之间存

在显著差别。

本问卷的

系数为

，表明此问卷的

0.748

Cronbach alpha

内部一致性良好。本问卷对结构效度进行了检验，进行

探索性因子分析，值为球体检验结

，

KMO

0.7ꢂ7 Bꢅrꢀleꢀꢀ

果显示显著性水平为

，小于，满足了统计学

0.000

意义，该问卷结构效度良好。

四、研究结果

获取教育大数据的差异特征

0.00ꢂ

研究问卷的设计

（）设计过程

问卷调查为本文的主要研究方法，为保证本研究的

公正、客观，在进行调查问卷设计之前，笔者查阅了相关

文献，之后初步编写了适合本研究的调查问卷，随后请

老师对本问卷进行评价，给出了宝贵的意见，并对问卷

的内容进行适当的修正；之后进行小范围的前测，删除

其中信度和效度较低的题项，最终形成了完整的问卷。

不同的个体获取教育大数据方法各不相同，为探讨

不同性别、年级、职业对教育大数据获取途径的影响，本

文采用描述性统计和独立样本检验以及单因素方差

分析等统计学方法进行统计分析。

通过独立样本检验可知，值为

T F

，对应的概

ꢂ.955

（）设计结果

率

值（

），大于显著性水平

0.05

，因此，两总体

ꢄig.=0.ꢂ65

方差无显著差异，应看第一行的 ꢀ 检验结果，等方差假

设下的，，大于，因此，两总体均值无显

经过上述步骤，制定了“基于

爬虫的教育大

ꢁyꢀhon

数据获取调查问卷”。本问卷总体设计为三个维度，分

别为：基本信息、爬虫了解程度和技术掌握、获

为

ꢄig

著差异，即，获取教育大数据的途径与性别无关。

年级对教育大数据获取途径的影响用单因素方差

分析，结果显示，显著性水平为，大于，因此认

0.063

为各个年级获取教育大数据途径无显著差异。

按照上述方法，本研究通过独立样本检验分析可

0.092

0.05

ꢁyꢀhon

取教育大数据的现状。共包括

个题项，为了方便统

ꢂ6

计，问卷主要设置为单选题；但为了解

掌握程度

Pyꢀhon

和获取教育大数据途径，本问卷还设计了多选题和一个

主观题。

问卷数据的收集

0.05

ꢀ

知，职业对教育大数据获取途径的影响无显著差异。结

（）被试分析

果显示，值为，明显大于，因此认为职业对获取

0.9

教育大数据的途径无显著影响。

爬取教育大数据的影响因素

0.05

由于本问卷是基于

和网络爬虫，所以对被试

Pyꢀhon

的专业和编程能力有一定的要求。参与本问卷的对象皆

来自教育技术学、现代教育技术、通信工程、信息工程、

网络工程、数字媒体技术、计算机科学与技术、计算机应

用、数学与统计等专业，部分非计算机和统计相关专业的

问卷已剔除。填写问卷的学生或老师来自云南、湖北、湖

南、四川、福建、广东、浙江等省份，具有一定的代表性。

2.Python

（）面向对象编程经验对

技术掌握的影响

ꢂ

ꢁyꢀhon

每一门编程语言都有它自己独特的特点，本文为探

究不同的编程语言对技术掌握和用进行

ꢁyꢀhon

网络爬虫的影响，利用统计学相关分析作为分析方法。

经过分析，面向对象编程经验对技术掌握在

ꢁyꢀhon

（）问卷的发放与回收

ꢃ

水平（双侧）上显著相关，

ꢁearson

全部评论(0)

暂无评论

评论赚积分>>

上传资源上传优质资源有赏金

个体差异对Python爬虫获取教育大数据的影响研究

资料介绍

部分文件列表

部分页面预览

相关下载

全部评论(0)

热门标签

最新上传

热门下载

推荐下载

专栏首页