- 1
- 2
- 3
- 4
- 5
Spark-核心概念与架构
资料介绍
一、Spark核心概念与诞生背景
1.1 分布式计算引擎的发展沿革
在大数据技术生态发展初期，Hadoop MapReduce是业界主流的分布式计算框架，依托HDFS分布式存储与MapReduce编程模型，能够实现对PB级数据的批量处理。但MapReduce的核心计算过程依赖磁盘IO完成中间结果的读写，在迭代计算、交互式查询等场景下，频繁的磁盘读写会带来极高的延迟，无法满足低延迟的计算需求。
为解决MapReduce的性能瓶颈，加州大学伯克利分校AMP实验室开发出Spark这一基于内存的分布式计算引擎，2010年正式开源，2013年加入Apache基金会，现已成为Apache基金会的顶级项目，也是当前大数据生态中应用最广泛的计算引擎之一。
Spark的核心设计理念是将计算过程中的中间数据存储在内存中，减少磁盘IO开销，同时提供统一的编程模型，支持批量处理、交互式查询、流处理、机器学习、图计算等多种计算场景，实现了一套引擎覆盖多类计算任务，降低了技术栈的复杂度与运维成本。
1.2 Spark的核心优势
对比传统的MapReduce框架，Spark具备以下突出优势：
1. 极高的计算性能：基于内存的计算模型，让Spark的运算速度比MapReduce快10到100倍，尤其适合迭代计算与交互式分析场景。
2. 统一的生态体系：Spark提供了Spark SQL、Spark Streaming、MLlib、GraphX四大核心组件，覆盖了绝大多数大数据处理场景，无需组合多套不同的计算框架。
3. 易用的编程接口：支持Scala、Java、Python、R四种编程语言，提供了丰富的高阶API，降低了分布式应用开发的门槛。
4. 良好的兼容性：能够运行在YARN、Mesos、Kubernetes等多种资源调度框架上，也可以直接部署在独立集群中，同时能够读写HDFS、HBase、Cassandra、S3等多种存储系统，能够适配已有的Hadoop生态体系。
5. 强大的容错机制：基于RDD（弹性分布式数据集）的血缘关系实现容错，无需像MapReduce那样频繁复制任务数据，开销更低，恢复更快。
部分文件列表
| 文件名 | 大小 |
| Spark-核心概念与架构.docx | 20K |
最新上传
- 打赏
- 30日榜单
-
21ic下载 打赏310.00元 3天前
用户：江岚
-
21ic下载 打赏310.00元 3天前
用户：mulanhk
-
21ic下载 打赏310.00元 3天前
用户：潇潇江南
-
21ic下载 打赏210.00元 3天前
用户：小猫做电路
-
21ic下载 打赏210.00元 3天前
用户：gsy幸运
-
21ic下载 打赏210.00元 3天前
用户：zhengdai
-
21ic下载 打赏140.00元 3天前
用户：jh0355
-
21ic下载 打赏130.00元 3天前
用户：jh03551
-
21ic下载 打赏60.00元 3天前
用户：lanmukk
-
21ic下载 打赏60.00元 3天前
用户：kkkopj
-
21ic下载 打赏70.00元 3天前
用户：cooldog123pp
-
21ic下载 打赏20.00元 3天前
用户：烟雨
-
21ic下载 打赏20.00元 3天前
用户：xuzhen1
-
21ic下载 打赏20.00元 3天前
用户：sun2152
-
21ic下载 打赏20.00元 3天前
用户：w178191520
-
21ic下载 打赏15.00元 3天前
用户：w1966891335
-
21ic下载 打赏15.00元 3天前
用户：w993263495
-
21ic下载 打赏15.00元 3天前
用户：x15580286248
-
21ic下载 打赏15.00元 3天前
用户：liqiang9090
-
21ic下载 打赏15.00元 3天前
用户：kk1957135547
-
21ic下载 打赏5.00元 3天前
用户：创园船热情
-
21ic下载 打赏5.00元 3天前
用户：ytf4210
-
21ic下载 打赏10.00元 3天前
用户：有理想666
-
13806677280 打赏1.00元 3天前
-
21下载积分 打赏20.00元 3天前
用户：white工
-
Lzhf918@ 打赏10.00元 3天前
-
21ic下载 打赏310.00元 3天前
用户：mulanhk
-
21ic下载 打赏310.00元 3天前
用户：lanmukk
-
21ic下载 打赏310.00元 3天前
用户：zhengdai
-
21ic下载 打赏240.00元 3天前
用户：江岚
-
21ic下载 打赏240.00元 3天前
用户：潇潇江南
-
21ic下载 打赏210.00元 3天前
用户：gsy幸运
-
21ic下载 打赏70.00元 3天前
用户：小猫做电路
-
21ic下载 打赏120.00元 3天前
用户：jh0355
-
21ic下载 打赏110.00元 3天前
用户：jh03551
-
21ic下载 打赏70.00元 3天前
用户：liqiang9090
-
21ic下载 打赏45.00元 3天前
用户：有理想666
-
21ic下载 打赏20.00元 3天前
用户：w178191520
-
21ic下载 打赏40.00元 3天前
用户：烟雨
-
21ic下载 打赏20.00元 3天前
用户：eaglexiong
全部评论(0)