- 1
- 2
- 3
- 4
- 5
Apache Spark 核心知识梳理
资料介绍
1. 什么是 Apache Spark
Apache Spark是一个快速、通用的分布式计算引擎，专为大规模数据处理设计，由加州大学伯克利分校AMPLab开发，后成为Apache基金会顶级项目。
它支持多种数据处理场景，包括批处理、流处理、机器学习、图计算等，能够统一处理不同类型的大数据任务，相比传统的MapReduce计算框架，Spark基于内存计算的特性使其数据处理速度提升了数倍到百倍。
2. Spark 核心特性
2.1 速度快
基于内存计算，DAG（有向无环图）执行引擎减少了MapReduce阶段的磁盘IO开销，针对磁盘数据处理也比MapReduce快10倍以上，内存数据处理速度可达MapReduce的100倍。
2.2 易用性
支持Java、Scala、Python、R、SQL多种编程语言，提供丰富的高级API，开发者可以快速上手编写分布式计算任务。
2.3 通用性
提供一站式的大数据处理生态，包含Spark Core（核心计算）、Spark SQL（结构化数据处理）、Spark Streaming（流处理）、MLlib（机器学习库）、GraphX（图计算）多个组件，这些组件可以无缝整合在同一个应用中，满足不同场景的需求。
2.4 运行方式灵活
支持多种集群管理器部署，包括Standalone（Spark原生集群管理器）、Apache Hadoop YARN、Apache Mesos、Kubernetes，同时可以对接多种数据源，比如HDFS、S3、HBase、Cassandra、Kafka等。
3. Spark 核心架构与概念
3.1 RDD
RDD（Resilient Distributed Dataset，弹性分布式数据集）是Spark最核心的抽象，它代表一个可分区、可并行计算、不可变的数据集合：
· 弹性：数据可以存储在内存也可以存储在磁盘，存储位置弹性可调；分区数量可以根据计算需求弹性调整；计算出错自动恢复，通过血缘关系重新计算丢失分区，无需重启整个任务。
· 分布式：数据被分为多个分区分布在集群不同节点上，支持并行计算。
部分文件列表
| 文件名 | 大小 |
| Apache_Spark_核心知识梳理.docx | 16K |
最新上传
- 打赏
- 30日榜单
-
21ic下载 打赏310.00元 1天前
用户：江岚
-
21ic下载 打赏310.00元 1天前
用户：mulanhk
-
21ic下载 打赏320.00元 1天前
用户：jh03551
-
21ic下载 打赏220.00元 1天前
用户：jh0355
-
21ic下载 打赏210.00元 1天前
用户：潇潇江南
-
21ic下载 打赏210.00元 1天前
用户：小猫做电路
-
21ic下载 打赏60.00元 1天前
用户：gsy幸运
-
21ic下载 打赏60.00元 1天前
用户：zhengdai
-
21ic下载 打赏60.00元 1天前
用户：lanmukk
-
21ic下载 打赏60.00元 1天前
用户：烟雨
-
21ic下载 打赏20.00元 1天前
用户：w993263495
-
21ic下载 打赏30.00元 1天前
用户：sun2152
-
21ic下载 打赏20.00元 1天前
用户：w178191520
-
21ic下载 打赏20.00元 1天前
用户：liqiang9090
-
21ic下载 打赏20.00元 1天前
用户：xuzhen1
-
21ic下载 打赏35.00元 1天前
用户：有理想666
-
21ic下载 打赏15.00元 1天前
用户：w1966891335
-
21ic下载 打赏15.00元 1天前
用户：x15580286248
-
21ic下载 打赏25.00元 1天前
用户：qiufeng0299
-
21ic下载 打赏15.00元 1天前
用户：kk1957135547
-
21ic下载 打赏10.00元 1天前
用户：qingsong08
-
21ic下载 打赏10.00元 1天前
用户：电工老刘
-
21ic小能手 打赏5.00元 2天前
-
21ic小能手 打赏5.00元 2天前
-
21ic小能手 打赏5.00元 2天前
-
ZENGYIBIN 打赏1.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
资料：STM32的数字万用表
-
21ic小能手 打赏5.00元 3天前
-
kuangwy 打赏1.00元 3天前
-
21ic小能手 打赏5.00元 3天前
资料：触控无极台灯控制方案
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
资料：51单片机的汽车雨刷器
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
全部评论(0)