- 1
- 2
- 3
- 4
- 5
YARN资源调度框架
资料介绍
YARN(Yet Another Resource Negotiator)是Apache Hadoop生态系统中的核心资源调度与集群管理组件,诞生于Hadoop 2.0版本,核心设计目标是分离Hadoop 1.0中MapReduce兼具的资源管理与作业调度职责,将集群资源的统一管理、调度与作业执行逻辑解耦,从而支撑多计算框架在同一个集群上混合部署运行,提升集群资源利用率与系统扩展性。
一、YARN的核心设计思想
YARN采用主从(Master-Slave)架构,核心设计遵循"资源管理全局统一,作业调度局部分发"的思路,将原本集成在MapReduce中的两大核心能力拆分为独立的组件:全局的资源调度器负责集群所有资源的统一管理与分配,每个作业的应用管理器负责作业内部的任务调度与容错,这种分离设计既解决了Hadoop 1.0中单点瓶颈、框架扩展性差、资源利用率低的问题,也让MapReduce、Spark、Flink、Storm等多种计算框架可以共享同一个底层集群资源,大幅降低了企业部署多套集群的运维成本与资源浪费。
二、YARN的核心架构组件
YARN集群由三类核心服务组件构成,各自承担不同的功能职责,协同完成资源管理与作业运行:
1. ResourceManager(RM,资源管理器)
ResourceManager是YARN集群的全局主节点,整个集群只有一个Active RM(高可用模式下会部署多个Standby RM做备份),核心职责包括:
· 统一管理集群中所有节点的硬件资源(内存、CPU、磁盘、GPU等),维护集群资源的全局视图,记录每个NodeManager上报的可用资源信息与节点健康状态。
· 处理客户端提交的应用程序请求,为应用程序分配第一个Container(容器)来启动ApplicationMaster。
部分文件列表
| 文件名 | 大小 |
| YARN资源调度框架.docx | 18K |
最新上传
-
21下载积分 打赏310.00元 3天前
用户:江岚
-
21下载积分 打赏310.00元 3天前
用户:潇潇江南
-
21下载积分 打赏60.00元 3天前
用户:他山之石可攻玉
-
21下载积分 打赏310.00元 3天前
用户:小猫做电路
-
21下载积分 打赏210.00元 3天前
用户:zhengdai
-
21下载积分 打赏210.00元 3天前
用户:w993263495
-
21下载积分 打赏10.00元 3天前
用户:烟雨
-
21下载积分 打赏60.00元 3天前
用户:gsy幸运
-
21下载积分 打赏70.00元 3天前
用户:铁蛋锅
-
21下载积分 打赏65.00元 3天前
用户:xzxbybd
-
21下载积分 打赏60.00元 3天前
用户:jh0355
-
21下载积分 打赏60.00元 3天前
用户:w178191520
-
21下载积分 打赏20.00元 3天前
用户:jh03551
-
21下载积分 打赏20.00元 3天前
用户:sun2152
-
21下载积分 打赏20.00元 3天前
用户:kk1957135547
-
21下载积分 打赏25.00元 3天前
用户:w1966891335
-
21下载积分 打赏20.00元 3天前
用户:xuzhen1
-
21下载积分 打赏15.00元 3天前
用户:x15580286248
-
21下载积分 打赏25.00元 3天前
用户:pcb
-
21下载积分 打赏20.00元 3天前
用户:bhacker
-
21下载积分 打赏15.00元 3天前
用户:liqiang9090
-
21下载积分 打赏25.00元 3天前
用户:有理想666
-
21下载积分 打赏15.00元 3天前
用户:godbox
-
21下载积分 打赏15.00元 3天前
用户:aetek
-
21下载积分 打赏5.00元 3天前
用户:mulanhk
-
21下载积分 打赏5.00元 3天前
用户:JuneLin61
-
21下载积分 打赏5.00元 3天前
用户:ccc6188
-
21下载积分 打赏5.00元 3天前
用户:木集盒
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏3.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏3.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏8.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前




全部评论(0)