最新搜索: RDA8955 9260 DO-178 555 C8051F a20
您现在的位置是:首页 > 技术资料 > YARN资源调度框架
推荐星级:
  • 1
  • 2
  • 3
  • 4
  • 5

YARN资源调度框架

更新时间:2026-06-11 08:54:07 大小:18K 上传用户:潇潇江南查看TA发布的资源 标签:资源调度 下载积分:2分 评价赚积分 (如何评价?) 打赏 收藏 评论(0) 举报

资料介绍

YARNYet Another Resource Negotiator)是Apache Hadoop生态系统中的核心资源调度与集群管理组件,诞生于Hadoop 2.0版本,核心设计目标是分离Hadoop 1.0MapReduce兼具的资源管理与作业调度职责,将集群资源的统一管理、调度与作业执行逻辑解耦,从而支撑多计算框架在同一个集群上混合部署运行,提升集群资源利用率与系统扩展性。

一、YARN的核心设计思想

YARN采用主从(Master-Slave)架构,核心设计遵循"资源管理全局统一,作业调度局部分发"的思路,将原本集成在MapReduce中的两大核心能力拆分为独立的组件:全局的资源调度器负责集群所有资源的统一管理与分配,每个作业的应用管理器负责作业内部的任务调度与容错,这种分离设计既解决了Hadoop 1.0中单点瓶颈、框架扩展性差、资源利用率低的问题,也让MapReduceSparkFlinkStorm等多种计算框架可以共享同一个底层集群资源,大幅降低了企业部署多套集群的运维成本与资源浪费。

二、YARN的核心架构组件

YARN集群由三类核心服务组件构成,各自承担不同的功能职责,协同完成资源管理与作业运行:

1. ResourceManager(RM,资源管理器)

ResourceManagerYARN集群的全局主节点,整个集群只有一个Active RM(高可用模式下会部署多个Standby RM做备份),核心职责包括:

· 统一管理集群中所有节点的硬件资源(内存、CPU、磁盘、GPU等),维护集群资源的全局视图,记录每个NodeManager上报的可用资源信息与节点健康状态。

· 处理客户端提交的应用程序请求,为应用程序分配第一个Container(容器)来启动ApplicationMaster


部分文件列表

文件名 大小
YARN资源调度框架.docx 18K

全部评论(0)

暂无评论

上传资源 上传优质资源有赏金

  • 打赏
  • 30日榜单
  • 21下载积分 打赏310.00元   3天前

    用户:江岚

  • 21下载积分 打赏310.00元   3天前

    用户:潇潇江南

  • 21下载积分 打赏60.00元   3天前

    用户:他山之石可攻玉

  • 21下载积分 打赏310.00元   3天前

    用户:小猫做电路

  • 21下载积分 打赏210.00元   3天前

    用户:zhengdai

  • 21下载积分 打赏210.00元   3天前

    用户:w993263495

  • 21下载积分 打赏10.00元   3天前

    用户:烟雨

  • 21下载积分 打赏60.00元   3天前

    用户:gsy幸运

  • 21下载积分 打赏70.00元   3天前

    用户:铁蛋锅

  • 21下载积分 打赏65.00元   3天前

    用户:xzxbybd

  • 21下载积分 打赏60.00元   3天前

    用户:jh0355

  • 21下载积分 打赏60.00元   3天前

    用户:w178191520

  • 21下载积分 打赏20.00元   3天前

    用户:jh03551

  • 21下载积分 打赏20.00元   3天前

    用户:sun2152

  • 21下载积分 打赏20.00元   3天前

    用户:kk1957135547

  • 21下载积分 打赏25.00元   3天前

    用户:w1966891335

  • 21下载积分 打赏20.00元   3天前

    用户:xuzhen1

  • 21下载积分 打赏15.00元   3天前

    用户:x15580286248

  • 21下载积分 打赏25.00元   3天前

    用户:pcb

  • 21下载积分 打赏20.00元   3天前

    用户:bhacker

  • 21下载积分 打赏15.00元   3天前

    用户:liqiang9090

推荐下载