大数据与Hadoop核心组件-Yarn(5)
2021/5/12 10:33:20
本文主要是介绍大数据与Hadoop核心组件-Yarn(5),对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
作用 负责整个集群资源的管理和调度,是Hadoop的一个通用的资源管理系统 定义 Apache Hadoop YARN (Yet Another Resource Negotiator ,另一种资源协调者)是一种新的Hadoop资源管理器,它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处
Yarn角色及概念
Resourcemanager -处理客户端请求 -启动/监控ApplicationMaster -监控NodeManager -资源分配与调度 Nodemanager -单个节点上的资源管理 -处理来自ResourceManager的命令 -处理来自ApplicationMaster的命令 ApplicationMaster -为应用程序申请资源,并分配给内部任务 -任务监控与容错 Container -对任务运行行环境的抽象,封装了CPU、内存等 Client -用户与Yarn交互的客户端程序 -提交应用程序、监控应用程序状态,杀死应用程序等
这篇关于大数据与Hadoop核心组件-Yarn(5)的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-12-23Fluss 写入数据湖实战
- 2024-12-22揭秘 Fluss:下一代流存储,带你走在实时分析的前沿(一)
- 2024-12-20DevOps与平台工程的区别和联系
- 2024-12-20从信息孤岛到数字孪生:一本面向企业的数字化转型实用指南
- 2024-12-20手把手教你轻松部署网站
- 2024-12-20服务器购买课程:新手入门全攻略
- 2024-12-20动态路由表学习:新手必读指南
- 2024-12-20服务器购买学习:新手指南与实操教程
- 2024-12-20动态路由表教程:新手入门指南
- 2024-12-20服务器购买教程:新手必读指南