积分商城

最新搜索： iar STM32F103 rfe150 Sm470 cserialport SPWM
您现在的位置是：首页 > 技术资料 > 基于Python的数据分析概述
推荐星级：
  • 1
  • 2
  • 3
  • 4
  • 5

基于Python的数据分析概述

更新时间：2019-12-24 06:46:25 大小：1M 上传用户：songhuahua查看TA发布的资源 标签：python数据分析人工智能 下载积分：1分 评价赚积分 （如何评价?） 打赏 收藏 评论(0) 举报

资料介绍

随着大数据及人工智能时代的到来,数据分析逐渐成为数据科学研究中的一个重要领域,Python语言作为目前非常热门和流行程序设计语言,在数据分析领域中占据着重要的地位。主要介绍数据分析的概念、数据分析流程、Python常用分析工具、Python优势、常用模块的用途以及使用Python进行数据分析的学习方法及步骤。


部分文件列表

文件名 大小
基于Python的数据分析概述.pdf 1M

【关注B站账户领20积分】

部分页面预览

（完整内容请下载后查看）
信息技术  
2018 年（第 47 卷）第 11 期  
甘肃科技纵横  
doi:10.3969∕j.issn.1672-6375.2018.11.002  
基于Python的数据分析概述  
翟高粤  
（苏州经贸职业技术学院 机电与信息技术学院，江苏 苏州 215009）  
摘
要：随着大数据及人工智能时代的到来，数据分析逐渐成为数据科学研究中的一个重要领域，Python语言作为目前非  
常热门和流行程序设计语言，在数据分析领域中占据着重要的地位。主要介绍数据分析的概念、数据分析流程、Python常  
用分析工具、Python优势、常用模块的用途以及使用Python进行数据分析的学习方法及步骤。  
关键词：Python；大数据；人工智能；数据分析  
中图分类号：TP311  
文献标识码：A  
随着云计算、大数据以及人工智能技术的快速发  
0 引言  
展，Python 及其开发生态环境正在受到越来越多的关  
注。2011年1月，在TIOBE编程语言排行榜中，它被评  
为2010年度语言，在2017年5月的编程语言排行榜中，  
Python 语言首次超越 Java，跃居第一，Python 已经成为  
整个计算机界最重要的语言之一，更是数据分析的首  
选语言。  
随着大数据和人工智能时代的到来，网络和信息  
技术开始渗透到人类日常生活的方方面面，产生的数  
据量也呈现指数级增长的态势，同时现有数据的量级  
已经远远超过了目前人力所能处理的范畴。在此背  
景下，数据分析成为数据科学领域中一个全新的研究  
课题［1］。在数据分析的程序语言选择上，由于 Python  
语言在数据分析和处理方面的优势，大量的数据科学  
领域的从业者使用Python来进行数据科学相关的研究  
工作。  
2 数据分析  
近年来，随着大数据技术逐渐发展和成熟，数据分  
析技能被认为是数据科学领域中数据从业人员所需要  
具备的重要技能之一，而数据分析作为大数据技术的  
重要组成部分，明确数据分析的概念、分析流程和分析  
方法等相关知识是进入数据科学研究的重要的步骤。  
2.1 数据分析概念  
1 Python简介  
Python 是一种触释型、支持面向对象特性的、动态  
数据类型的高级程序设计语言。Python 不仅简单易  
学，而且还有丰富的第三方程序库和相应完善的管理  
工具。自从20世纪90年代Python公开发布以来，经过  
二十多年的发展，Python以其语法简洁而高效、类库丰  
富而强大、适合快速开发、应用领域广等原因，成为当  
下最流行的脚本语言之一。同时也广泛应用到数据分  
析处理、统计、计算可视化、图像处理、网站开发等许多  
专业领域。  
数据分析是指用适当的分析方法对收集来的大量  
数据进行分析，提取有用信息和形成结论，对数据加以  
详细研究和概括总结的过程［2］。随着信息技术的高速  
发展，企业生产、收集、存储和处理数据的能力大大提  
高，同时数据量也与日俱增。把这些繁杂的数据通过  
数据分析方法进行提炼，以此研究出数据的发展规律  
和预测趋势走向，进而帮助企业管理层做出决策。  
收稿日期：2018-09-15  
作者简介：翟高粤（1975-），男，汉族，江苏苏州人，研究生，副教授，主要从事软件架构、软件开发，大数据分析及人工智能等研究  
工作。  
5
信息技术  
2018 年（第 47 卷）第 11 期  
甘肃科技纵横  
2.2 数据分析的流程  
（6）部署  
数据分析是一种触决问题的过程和方法，主要的  
步骤有需求分析、数据获取、数据预处理、分析建模、模  
型评价与优化、部署。  
部署是指将数据分析结果与结论应用至实际生产  
系统的过程。根据需求的不同，部署阶段可以是一份  
包含了现状具体整改措施的数据分析报告，也可以是  
将模型部署在整个生产系统的触决方案。在多数项目  
中，数据分析员提供的是一份数据分析报告或者一套  
触决方案，实际执行与部署的是需求方。  
（1）需求分析  
数据分析中的需求分析是数据分析环节中的第一  
步，也是非常重要的一步，决定了后续的分析方法和方  
向。主要内容是根据业务、生产和财务等部门的需要，  
结合现有的数据情况，提出数据分析需求的整体分析  
方向、分析内容，最终和需求方达成一致。  
（2）数据获取  
3 Python是功能强大的数据分析工具  
3.1 数据分析常用工具  
目 前 主 流 的 数 据 分 析 语 言 有 Python、R、MATꢀ  
LAB。其中，Python 具有丰富和强大的库，它常被称为  
胶水语言，能够把用其他语言制作的各种模块很轻松  
地连接在一起，是一门更易学、更严谨的程序设计语  
言，常用于数据分析、机器学习、矩阵运算、科学数据可  
视化、数字图像处理、网络爬虫、Web 应用等［3］；R 语言  
常用于统计分析、机器学习、科学数据可视化等；MATꢀ  
LAB 则用于矩阵运算、数值分析、科学数据可视化、机  
器学习、符号运算、数字图像处理及信号处理等。可以  
看出，以上三种语言均可进行数据分析。  
数据获取是数据分析工作的基础，是指根据需求  
分析的结果提取、收集数据。数据获取主要有两种方  
式：网络爬虫获取和本地获取。网络爬虫获取指的是  
通过Python编写爬虫程序合法获取互联网中的各种文  
字、语音、图片和视频等信息；本地获取指的是通过计  
算机工具获取存储在本地数据库中的生产、营销和财  
务等系统的历史数据和实时数据。  
（3）数据预处理  
数据预处理是指对数据进行数据合并、数据清洗、  
数据标准化和数据变换，并直接用于分析建模的这一  
过程的总称。其中，数据合并可以将多张互相关联的  
表格合并为一张；数据清洗可以去掉重复、缺失、异常、  
不一致的数据；数据标准化可以去除特征间的量纲差  
异；数据交换则可以通过离散化、哑变量处理等技术满  
足后期分析与建模的数据要求。在数据分析过程中，  
数据预处理的各个过程互相交叉，并没有固定的先后  
顺序。  
3.2 使用Python进行数据分析的优势  
Python 是一门应用非常广泛的计算机语言，在数  
据科学领域具有无可比拟的优势。Python 正在逐渐成  
为数据科学领域的主流语言。Python 数据分析具有以  
下几方面优势。  
（1）语法简单精炼。对于初学者来说，比起其他编  
程语言，Python更容易上手。  
（2）有许多功能强大的库。结合在编程方面的强  
大实力，可以只使用 Python 这一种语言就可以去构建  
以数据为中心的应用程序。  
（4）分析建模  
分析建模是指通过对比分析、分组分析、交叉分  
析、回归分析等分析方法，以及聚类模型、分类模型、关  
联规则、智能推荐等模型和算法，发现数据中的有价值  
信息，并得出结论的过程。  
（3）不仅适用于研究和原型构建，同时也适用于构  
建生产系统。研究人员和工程技术人员使用同一种编  
程工具，能给企业带来显著的组织效益，并降低企业的  
运营成本。  
（5）模型评价与优化  
模型评价是指对于已经建立的一个或多个模型，  
根据其模型的类别，使用不同的指标评价其性能优劣  
的过程。模型的优化则是指模型性能在经过模型评价  
后已经达到了要求，但在实际生产环境应用过程中，发  
现模型的性能并不理想，继而对模型进行重构与优化  
的过程。  
（4）Python 程序能够以多种方式轻易地与其他语  
言的组件“粘接”在一起。例如，Python的C语言API可  
以帮助 Python 程序灵活地调用 C 程序，这意味着用户  
可以根据需要给 Python 程序添加功能，或者在其他环  
境系统中使用Python。  
（5）Python 是一个混合体，丰富的工具集使它介于  
6

相关下载

全部评论(0)

暂无评论
评论赚积分>>

上传资源 上传优质资源有赏金

热门标签

更多>>

最新上传

  • 打赏
  • 30日榜单

热门下载

推荐下载

本站上的所有资源均为源于网上收集或者由用户自行上传，仅供学习和研究使用，无任何商业目的，版权归原作如有侵权，请 来信指出，本站将立即改正。

ICP许可证号：京ICP证070360号     21IC电子网 2000- 版权所有

京ICP备11013301号

京公网安备 11010802024343号