积分商城

最新搜索： 推完开关电源 CH340 排插 入门教程 canopen layout
您现在的位置是：首页 > 技术资料 > Python 在统计数据处理中的应用
推荐星级：
  • 1
  • 2
  • 3
  • 4
  • 5

Python 在统计数据处理中的应用

更新时间：2019-12-21 10:38:12 大小：2M 上传用户：songhuahua查看TA发布的资源 标签：python数据处理 下载积分：1分 评价赚积分 （如何评价?） 打赏 收藏 评论(0) 举报

资料介绍

大数据为政府统计工作带来了机遇和挑战，统计大数据应用目前已进入推进实施阶段，但现有统计数据处理平台不能较好地满足大数据应用的需要。本文通过使用Python对农业普查大数据进行挖掘分析和数据可视化，探索Python在统计数据处理中的应用。


部分文件列表

文件名 大小
Python_在统计数据处理中的应用.pdf 2M

【关注视频号领20积分】   【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）
改革与发展  
10.13999/j.cnki.scyj.2019.08.009  
在统计数据处理中的应用  
Python  
胡前防 连鹏伟 陈乾坤  
文
/
大数据为政府统计工作带来了机遇和挑战 统计大数据应用目前已进入推进实施阶段 但现有统计数据处  
， ，  
摘
理平台不能较好地满足大数据应用的需要 本文通过使用  
。
对农业普查大数据进行挖掘分析和数据可  
Python  
要
视化 探索  
，
在统计数据处理中的应用  
。
Pyꢀhon  
关键词：统计；数据处理；  
Python  
一 引言  
、
能、物联网、大数据处理划入新课标，意味着  
在我国进入  
Python  
为深入贯彻落实党的十九大关于“完善统计体制”重要部  
署和中央《关于深化统计管理体制改革提高统计数据真实性的  
意见》，积极落实《国务院关于印发促进大数据发展行动纲要的  
通知》，努力适应大数据的蓬勃发展给统计工作带来的机遇和  
挑战，创新统计工作方式，提高统计工作效率，强化大数据在统  
计工作中的运用，加快构建新时代现代化统计调查体系，近期  
国家统计局制定了大数据应用工作方案并进行了安排部署。方  
了高中教育。二是  
在大数据处理性能方面与传统工具  
Python  
相比速度要快，可以直接加载处理上  
大小的数据，而传统  
GB  
工具受限于性能原因则通常需要将大数据分割为数个小数据  
再进行处理。三是开源生态活跃、功能丰富。随着 扩展  
Python  
库不断发展壮大，  
Python  
在科研、电子、政府、数据分析、 、金  
web  
融、图像处理、 技术等各方面都有强大的类库、框架和解决方  
AI  
案。  
Python  
拥有  
及
这样强大的绘图库和数值  
numPy  
Matplotlib  
案总体目标之一，是要运用云计算、大数据等信息技术和资源， 扩展，能帮助科研学术人员快速地进行可视化和数值分析。  
在“四大工程”建设成果的基础上，改革完善统计业务流程，全 提供的 扩展库，包含了全套的统计函数和数据处  
力完善统计数据来源传统之轨。具体来讲，就是完善结构化数  
据的传统之轨，在不改变现有机构、人员和职责分工的前提下， 聚合、重采样等，其丰富的功能和强大的算法已经成为数据处  
Python  
pandas  
理方法，可以高效处理海量数据矩阵，轻松地进行切片 切块、  
/
整合普查、常规调查和专项调查等数据，打破专业壁垒和信息  
孤岛，实现数据共享和深度开发。其中重点项目包括：进一步挖  
掘普查数据应用的潜力，通过大数据处理技术整理普查原始数  
理任务的首选解决方案。因此本文使用  
及扩展库，对统  
Python  
计数据处理中的几个典型应用场景进行实现。  
在统计数据处理中的应用场景实现  
四
、
Pyꢀhon  
一 环境准备  
）
据，提高开发应用普查数据的能力。本文尝试利用  
的特  
（
Python  
点和优势，对某地区农业普查数据进行挖掘分析和可视化场景  
实现，以此来展示 在统计数据处理中的应用效果。  
操作系统：  
Ubuntu 18.04.1 LTS  
应用程序：  
Python- 3.6.5 Pandas- 0.24.2 Matplotlib- 3.1.0  
Python  
二 传统统计数据处理系统的功能特点和不足  
、
二 数据源准备  
）
（
目前，企业一套表系统和大型普查数据处理系统是政府统  
计进行数据生产的两个主要平台，由国家或省级确定企业填报  
目录和填报报表制度，定期（月度、季度、年度）由企业联网直报  
数据，统计系统内人员进行审核、计算、汇总，生成综合数据。这  
两个统计数据处理系统的主要功能是数据采集、数据审核、数  
据汇总，为采集、处理、传输、公布传统统计数据发挥了不可替  
代的作用，但随着大数据处理技术的发展和传统统计数据资源  
深度开发的需要，发现其在整理计算加工、数据挖掘分析、可视  
化展示等方面存在先天薄弱和不足，迫切需要寻找能够弥补其  
功能短板的软件和工具。  
登录农业普查数据处理平台，对某地区主要农作物（小麦、  
玉米）种植数据按照农户（播种面积 亩）、规模户（播种面  
＜50  
积
亩）区分进行自定义指标查询，指标包括：农作物代码、  
≥50  
播种面积（亩）、平均每亩产量（公斤）、每亩化肥平均施用量（公  
斤）、农药喷洒次数、实际耕地面积（亩）、灌溉耕地面积（亩）、是  
否机耕。并将平台中的查询结果以 格式导出成数据文件  
csv  
和
guimo.csv danwei.csv  
。
三 应用场景  
）
（
场景一：数据预处理  
数据预处理包括数据清洗、数据集成、数据变换和数据规  
约。数据清洗主要完成缺失值处理、异常值处理，数据集成是将  
多个数据源整合成一个，数据变换主要完成对数据进行规范化  
处理，比如函数计算、属性构造、规范量纲等，数据规约就是消  
三
的特点和优势  
、
Python  
统计界广泛使用的传统工具有  
、 、 等，随着大数  
SAS SPSS R  
据时代的到来，  
Python  
在大数据处理工作中脱颖而出。相比传  
的特点和优势更为突出：一是简单易学、 除无效、错误数据的影响。本文使用  
统的统计工具，  
Python  
库加载平台导出的  
Pandas  
普及程度高，国外出现了在义务教育阶段就开始教授  
数据为  
类型对象进行数据切片、空值填充、无效值移  
Python  
DataFrame  
的情况。全国普通高中  
版“新课标”改革中，正式将人工智  
除、灌溉率列计算、切片拼接整理，生成标准数据文件  
，结  
all.csv  
2017  
33  
改革与发展  
果见表 。  
1
表
标准数据文件  
all.csv  
1
农作物代码  
1ꢂ3  
播种面积 亩  
（
每亩产量 公斤  
（
每亩化肥用量 公斤  
（
农药喷洒次数 次  
（
是否机耕 灌溉率  
（ ）  
ꢄ
类别  
）
）
）
）
ꢃ.8  
1
ꢆꢂꢂ  
6ꢂꢂ  
ꢆꢆꢂ  
ꢆꢂ  
ꢃ
ꢃ
ꢃ
1
ꢂ
1
1
1
1
1
1ꢂ3  
ꢆꢂ  
1
1ꢂ3  
ꢂ.7  
ꢇꢆ  
…… ……  
ꢆꢂ  
ꢂ.ꢆ9  
1ꢂꢇ  
1ꢂ3  
1ꢂꢇ  
1ꢃ3  
ꢃꢂꢂ  
ꢃ1ꢂ  
ꢇꢂꢂ  
1ꢆꢂ  
1ꢆꢂ  
ꢃ
ꢃ
ꢃ
1
1
1
1
ꢂ
ꢂ
ꢃ
ꢃ
ꢃ
ꢇꢂ  
ꢇꢂ  
注 机耕为  
：
非机耕为  
ꢀ ꢁ。  
0
“ ”，  
1
场景二：数据特征描述  
数据，可以更清晰、直观地呈现总体数据特征。  
数据准备。使用 库加载标准数据文件  
数据特征描述是对总体变量的有关数据进行统计性描述，  
主要包括频数分析、集中趋势分析、离散程度分析、分布以及图  
形可视化。利用频数分析可以检验异常值；通过数据集中趋势  
分析来反映数据的一般水平，常用的指标有平均值、中位数和  
众数等；利用数据的离散程度分析来反映数据之间的差异程  
度，常用的指标有方差和标准差。本文用箱体图的形式来表达  
，按照  
all.csv  
1.  
Pandas  
小麦和玉米、农户和规模户两类分组，使用  
函数计算每  
describe  
亩 产量 的 均 值（  
）、标 准 差（ ）、最 大 值（ ）、最 小 值  
std max  
mean  
（
min  
）、四分位值等数据，其中“低奇异值占比”是指低于中位数  
的奇异值个数占总数的百分比，计算结果见表 。  
2
表
主要农作物每亩产量 公斤 数据特征描述  
（ ）  
2
小麦  
玉米  
农户 个  
（
规模户 个  
（
农户 个  
（
规模户 个  
（ ）  
）
）
）
计数  
（
（
）
）
）
count  
8773.ꢂꢂ  
467.88  
93.9ꢃ  
77ꢅ.ꢂꢂ  
ꢆꢂꢃ.68  
73.ꢇ6  
7838.ꢂꢂ  
ꢆ18.ꢆ1  
99.71  
ꢆ79.ꢂꢂ  
ꢆꢇ1.ꢃ8  
9ꢂ.8ꢆ  
均值  
meaꢀ  
标准差  
（
std  
最小值  
（
）
ꢁiꢀ  
1.5ꢂ  
1ꢂꢂ.ꢂꢂ  
ꢇꢆꢂ.ꢂꢂ  
ꢆꢂꢂ.ꢂꢂ  
ꢆꢆꢂ.ꢂꢂ  
8ꢂꢂ.ꢂꢂ  
1.9ꢇꢄ  
ꢃꢆ.ꢂꢂ  
1ꢂꢂ.ꢂꢂ  
ꢆꢂꢂ.ꢂꢂ  
ꢆꢆꢂ.ꢂꢂ  
6ꢂꢂ.ꢂꢂ  
1ꢂꢂꢂ.ꢂꢂ  
3.97ꢄ  
分位  
25%  
50%  
75%  
4ꢂꢂ.ꢂꢂ  
5ꢂꢂ.ꢂꢂ  
5ꢂꢂ.ꢂꢂ  
8ꢂꢂ.ꢂꢂ  
3.ꢃ9ꢄ  
ꢆꢂꢂ.ꢂꢂ  
ꢆꢂꢂ.ꢂꢂ  
6ꢂꢂ.ꢂꢂ  
1ꢂꢂꢂ.ꢂꢂ  
ꢇ.7ꢂꢄ  
分位  
分位  
最大值  
（
）
max  
低奇异值占比  
可视化呈现。使用  
中
方法绘制  
箱体图如下（见图 ）：  
1
2.  
matplotlib.pyplot  
boxplot  
图
主要农作物每亩产量箱体图  
公斤， 公斤，低于农户  
1
结果分析。从表 看，规模种植小麦亩产均值  
2
差
公斤；规模种植玉米亩产标准差  
3.  
502.68  
73.46  
93.92  
高于农户  
467.88  
公斤，高于农户  
公斤，高出  
；规模种植玉米亩产均值  
7.4%  
公斤，低于农户  
公斤。从图 看，规模种植小麦亩产低  
1
541.28  
90.85  
奇异值占比  
99.71  
公斤，高出  
；规模种植小麦亩产标准  
4.4%  
，低于农户  
1.94%  
，规模种植玉米亩产低奇异值  
3.29%  
518.51  
3ꢇ  

相关下载

全部评论(0)

暂无评论
评论赚积分>>

上传资源 上传优质资源有赏金

热门标签

更多>>

最新上传

  • 打赏
  • 30日榜单

热门下载

推荐下载

本站上的所有资源均为源于网上收集或者由用户自行上传，仅供学习和研究使用，无任何商业目的，版权归原作如有侵权，请 来信指出，本站将立即改正。

ICP许可证号：京ICP证070360号     21IC电子网 2000- 版权所有

京ICP备11013301号

京公网安备 11010802024343号