大数据与Hadoop核心组件-Yarn(5)
2021/5/12 10:33:20
本文主要是介绍大数据与Hadoop核心组件-Yarn(5),对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
作用 负责整个集群资源的管理和调度,是Hadoop的一个通用的资源管理系统 定义 Apache Hadoop YARN (Yet Another Resource Negotiator ,另一种资源协调者)是一种新的Hadoop资源管理器,它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处
Yarn角色及概念
Resourcemanager -处理客户端请求 -启动/监控ApplicationMaster -监控NodeManager -资源分配与调度 Nodemanager -单个节点上的资源管理 -处理来自ResourceManager的命令 -处理来自ApplicationMaster的命令 ApplicationMaster -为应用程序申请资源,并分配给内部任务 -任务监控与容错 Container -对任务运行行环境的抽象,封装了CPU、内存等 Client -用户与Yarn交互的客户端程序 -提交应用程序、监控应用程序状态,杀死应用程序等
这篇关于大数据与Hadoop核心组件-Yarn(5)的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-09-29从查询到洞察:利用表增强生成(TAG)革新您的数据策略
- 2024-09-29对象存储(BLOBs)在系统设计中的解释
- 2024-09-29KubeSphere 社区双周报|2024.09.13-09.26
- 2024-09-26Sentinel监控流量资料:新手入门指南
- 2024-09-26知乎 PB 级别 TiDB 数据库在线迁移实践
- 2024-09-26瓜子二手车 x TiDB 丨平均耗时降低 30%,TiDB HTAP 在瓜子二手车财务中台结账核心系统的深度实践
- 2024-09-26Terraform 的终结开始了吗?
- 2024-09-26阿里云RDS项目实战:新手入门教程
- 2024-09-26阿里云部署方案资料:新手入门教程
- 2024-09-26阿里云RDS资料:新手入门全攻略