- 1
- 2
- 3
- 4
- 5
ApplicationMaster核心功能解析
资料介绍
基本定义
ApplicationMaster(AM,应用管理器)是Hadoop YARN(Yet Another Resource Negotiator)资源调度框架中的核心组件之一,负责管理用户提交的应用程序生命周期,协调各个任务的运行,实现资源申请与动态分配调整。
核心定位与作用
在YARN的双层调度架构中,ResourceManager(RM)负责整个集群的资源管理与调度,NodeManager(NM)负责单个节点的资源监控与任务启停,而ApplicationMaster则作为单个应用的“总管”,承担应用层面的管理职能,核心作用包括:
1. 向ResourceManager申请运行应用所需的资源容器(Container)
2. 与NodeManager通信启动和停止具体任务
3. 监控所有任务的运行状态,对失败任务进行重试重启
4. 协调任务执行流程,处理应用运行中的异常情况
5. 收集任务运行统计信息,向RM返回应用执行结果
核心工作流程
1. 提交启动:用户提交应用程序后,ResourceManager会接收请求,为应用分配一个初始的Container来启动ApplicationMaster,由对应的NodeManager负责启动该AM进程。
2. 资源注册:ApplicationMaster启动后,会向ResourceManager注册自身信息,说明应用所需资源规格与运行需求。
3. 资源申请与分配:AM根据应用任务的实际运行需求,周期性向RM申请资源,RM将符合条件的Container分配给应用,AM接收资源分配结果。
4. 任务启动:AM将分配到的Container信息发送给对应节点的NodeManager,请求NodeManager启动具体任务。
5. 运行监控与容错:AM持续监控所有任务的运行状态,如果任务失败,会根据配置重新向RM申请资源,重启失败任务;如果节点故障,AM会重新调度受影响的任务。
6. 应用收尾:所有任务执行完成后,ApplicationMaster向ResourceManager注销自身,释放所有占用的资源,清理运行环境,提交应用最终执行结果。
部分文件列表
| 文件名 | 大小 |
| ApplicationMaster核心功能解析.docx | 14K |
最新上传
-
21ic小能手 打赏10.00元 2天前
-
21ic小能手 打赏5.00元 2天前
-
21ic小能手 打赏5.00元 2天前
-
21ic小能手 打赏5.00元 2天前
-
21ic小能手 打赏5.00元 2天前
资料:STM32的数字万用表
-
21ic小能手 打赏5.00元 2天前
-
kuangwy 打赏1.00元 3天前
-
21ic小能手 打赏5.00元 3天前
资料:触控无极台灯控制方案
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
资料:51单片机的汽车雨刷器
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic下载 打赏310.00元 3天前
用户:gsy幸运
-
21ic下载 打赏320.00元 3天前
用户:jh03551
-
21ic下载 打赏320.00元 3天前
用户:jh0355
-
21ic下载 打赏210.00元 3天前
用户:zhengdai
-
21ic下载 打赏210.00元 3天前
用户:江岚
-
21ic下载 打赏210.00元 3天前
用户:潇潇江南
-
21ic下载 打赏60.00元 3天前
用户:小猫做电路
-
21ic下载 打赏60.00元 3天前
用户:烟雨
-
21ic下载 打赏60.00元 3天前
用户:mulanhk
-
21ic下载 打赏60.00元 3天前
用户:w993263495
-
21ic下载 打赏20.00元 3天前
用户:w178191520
-
21ic下载 打赏20.00元 3天前
用户:liqiang9090
-
21ic下载 打赏20.00元 3天前
用户:kk1957135547
-
21ic下载 打赏20.00元 3天前
用户:sun2152
-
21ic下载 打赏20.00元 3天前
用户:w1966891335
-
21ic下载 打赏15.00元 3天前
用户:xuzhen1
-
21ic下载 打赏15.00元 3天前
用户:x15580286248
-
21ic下载 打赏10.00元 3天前
用户:wjr111
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏5.00元 3天前
资料:STM32密码锁仿真
-
x1707 打赏1.00元 3天前
-
lanmukk 打赏60.00元 3天前
-
lanmukk 打赏10.00元 3天前




全部评论(0)