【深入浅出 Yarn 架构与实现】

本文主要是介绍【深入浅出 Yarn 架构与实现】，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

一、RM 基本职能

主要包含以下几个功能：

• Client 交互：处理来自 Client 的请求；
• 管理 ApplicationMaster：启动、管理、重启等；
• 管理 Nodemanager：接收 NM 汇报的资源信息，并下达管理指令；
• 资源管理与调度：接收 AM 的资源请求，并分配资源。

如上图所示，RM 中各组件通过对应 RPC 与各 Client 进行通信：

• ResourceTrackerProtocol: NodeManager（NM）通过该 RPC 协议向 RM 注册、汇报节点健康状况和 Container 运行状态，并领取 RM 下达的命令。NM 与 RM 之间采用了「pull模型」，NM 总是周期性地主动向 RM 发起请求（心跳），并领取下达给自己的命令。
• ApplicationMasterProtocol: 应用程序的 ApplicationMaster 通过该 RPC 协议向 RM 注册、申请资源和释放资源。（AM 与 RM 交互参考上一篇文章「3-3 Yarn Application Master 编写」）
• ApplicationClientProtocol: 应用程序的客户端通过该 RPC 协议向 ResourceManager 提交应用程序、查询应用程序状态和控制应用程序（比如杀死应用程序）等。（AppClient 与 RM 交互参考文章「3-2 Yarn Client 编写」

从以上介绍中可以看出，与 RM 通过 RPC 通信的组件都采用「Pull 模型」，各个「Client」通过心跳定期向 RM 汇报，在心跳返回值中领取 RM 下达的指令。

二、RM 内部架构

本节将深入 RM 内部，看其内部组织结构和主要模块

一）用户交互模块

RM 分别针对普通用户、管理员和 Web 提供了三种对外服务：

• ClientRMService: 为普通用户提供的服务，它处理来自客户端各种RPC请求，比如提交应用程序、终止应用程序、获取应用程序运行状态等；
• AdminService: RM 为管理员提供了一套独立的服务接口，以防止管理员发送的管理命令饿死，管理员可通过这些接口管理集群，比如动态更新节点列表、更新ACL列表、更新队列信息等；
• WebApp: 更加友好地展示集群资源使用情况和应用程序运行状态等信息。

标签：构架,实现,功能,资源信息,命令,注册 来源：

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

这篇关于【深入浅出 Yarn 架构与实现】的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！