七、Hadoop3.3.1 HA 高可用集群QJM (基于Zookeeper,NameNode高可用+Yarn高可用)
2021/11/23 9:10:09
本文主要是介绍七、Hadoop3.3.1 HA 高可用集群QJM (基于Zookeeper,NameNode高可用+Yarn高可用),对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
目录- 前文
- pom.xml文件增加依赖
- 新建java文件:ZookeeperTest
- GitHub文件下载
前文
- 一、CentOS7 hadoop3.3.1安装(单机分布式、伪分布式、分布式
- 二、JAVA API实现HDFS
- 三、MapReduce编程实例
- 四、Zookeeper3.7安装
- 五、Zookeeper的Shell操作
- 六、Java API操作zookeeper节点
pom.xml文件增加依赖
<!-- Zookeeper依赖--> <dependency> <groupId>org.apache.zookeeper</groupId> <artifactId>zookeeper</artifactId> <version>3.7.0</version> </dependency>
新建java文件:ZookeeperTest
/** * @author LEHOSO * @date 2021/11/21 * @apinote */ public class ZookeeperTest { public static void main(String[] args) throws Exception { // 初始化ZooKeeper实例(zk地址、会话超时时间,与系统默认一致, watcher) //步骤一:创建Zookeeper客户端 //参数1:zk地址;参数2:会话超时时间(与系统默认一致);参数3:监视器 ZooKeeper zk = new ZooKeeper( "192.168.142.10:2181," + "192.168.142.20:2181," + "192.168.142.30:2181", 300000, new Watcher() { @Override //监控所有被触发的事件(也就是在这里进行事件的处理) public void process(WatchedEvent watchedEvent) { System.out.println("事件类型为:" + watchedEvent.getType()); System.out.println("事件发生的路径:" + watchedEvent.getPath()); System.out.println("通知状态为:" + watchedEvent.getState()); } }); //步骤二:创建目录节点 //参数1:要创建的节点路径;参数2:节点数据;参数3:节点权限;参数4:节点类型 zk.create("/testRootPath", "testRootData".getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT); //步骤三:创建子目录节点 zk.create("/testRootPath/testChildPathOne", "testChildPathOne".getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT); //步骤四:获取目录节点数据 //参数1:存储节点数据的路径; //参数2:是否需要监控此节点(true/false) //参数3:stat节点的统计信息(一般设置null) System.out.println("testRootData节点数据为:" + new String(zk.getData("/testRootPath", false, null))); //步骤五:获取子目录节点数据 // 取出子目录节点列表 System.out.println(zk.getChildren("/testRootPath", true)); //步骤六:修改子目录节点数据,使得监听触发 //参数1:存储子目录节点数据的路径; //参数2:要修改的数据; //参数3:预期要匹配的版本(设置为-1,则可匹配任何节点的版本) zk.setData("/testRootPath/testChildPathOne", "modifyChildDataOne".getBytes(), -1); //步骤七:判断目录节点是否存在 System.out.println("目录节点状态[" + zk.exists("/testRootPath", true) + "]"); //步骤八:删除子目录节点 zk.delete("/testRootPath/testChildPathOne", -1); //步骤九:删除目录节点 zk.delete("/testRootPath", -1); zk.close(); } }
GitHub文件下载
HadoopDemo
这篇关于七、Hadoop3.3.1 HA 高可用集群QJM (基于Zookeeper,NameNode高可用+Yarn高可用)的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2023-05-13Windows下hadoop环境搭建之NameNode启动报错
- 2023-04-14hadoop伪分布式集群的安装(不是单机版)
- 2022-12-05Hadoop生态系统—数据仓库Hive的安装
- 2022-11-02Win10搭建Hadoop环境
- 2022-10-19Hadoop生态系统(数据仓库Hive的安装)
- 2022-10-03Hadoop、storm和Spark Streaming简单介绍
- 2022-10-03胖虎的Hadoop笔记——Hadoop的伪分布式部署
- 2022-09-11Ubuntu搭建全分布式Hadoop
- 2022-09-11Ubuntu搭建全分布式Hadoop
- 2022-09-09Ubuntu下安装伪分布式HADOOP遇到的一些问题