|NO.Z.00016|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v16|---------------------------------|Kylin.
2022/4/18 19:13:00
本文主要是介绍|NO.Z.00016|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v16|---------------------------------|Kylin.,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
[BigDataHadoop:Hadoop&OLAP数据库管理系统.V16] [Deployment.OLAP数据库管理系统][|Kylin:sparkcore高可用配置|]
一、高可用配置:spark standalone集群配置
### --- 修改 spark-env.sh 文件,并分发到集群中 [root@hadoop01 ~]# vim $SPARK_HOME/conf/spark-env.sh # export SPARK_MASTER_HOST=hadoop01 # 注释掉这2行内容 # export SPARK_MASTER_PORT=7077 # 注释掉这2行内容 ~~~ # 最后一行添加如下内容 export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop01,hadoop02,hadoop03 -Dspark.deploy.zookeeper.dir=/spark"
~~~ # 发送到其它节点 [root@hadoop01 ~]# rsync-script $SPARK_HOME/conf/spark-env.sh二、启动集群并验证
### --- 启动 Spark 集群hadoop01 ~~~ # 在Hadoop01节点上重启spark服务:需要启动hdfs/yarn/zookeeper服务 [root@hadoop01 ~]# stop-all-spark.sh [root@hadoop01 ~]# start-all-spark.sh
~~~ # 查看服务进程 [root@hadoop00 ~]# jps Hadoop01 Worker Hadoop02 Master Worker # 此时master节点在Hadoop02上 Hadoop03 Worker三、浏览器输入:http://hadoop01:8080/显示为:ALIVE
### --- 在Hadoop02上启动master服务 [root@hadoop02 ~]# start-master.sh ~~~ # 查看服务进程 [root@hadoop00 ~]# jps Hadoop01 Master Worker # 备用master节点在Hadoop01上 Hadoop02 Master Worker # 此时master节点在Hadoop02上 Hadoop03 Worker四、进入浏览器输入:http://hadoop02:8080/,此时 Master 的状态为:STANDBY五、杀死Hadoop01上 Master 进程,Hadoop02:ALIVE;http://hadoop02:8080/;Master:STANDBY六、停止spark集群
### --- 停止集群状态 ~~~ # 停止spark集群 [root@hadoop02 ~]# stop-all-spark.sh ~~~ # 停止zk服务 [root@hadoop02 ~]# ./zk-all.sh stop七、zookeeper说明
### --- 高可用(ZK、Local Flile;在ZK中记录集群的状态) [root@hadoop02 ~]# zkCli.sh [zk: localhost:2181(CONNECTED) 1] ls / # 记录的位置 [zookeeper, spark] [zk: localhost:2181(CONNECTED) 2] ls /spark # 选举的信息 [leader_election, master_status]
===============================END===============================
Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart ——W.S.Landor
来自为知笔记(Wiz)
这篇关于|NO.Z.00016|——————————|Deployment|——|Hadoop&OLAP数据库管理系统.v16|---------------------------------|Kylin.的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2023-05-13Windows下hadoop环境搭建之NameNode启动报错
- 2023-04-14hadoop伪分布式集群的安装(不是单机版)
- 2022-12-05Hadoop生态系统—数据仓库Hive的安装
- 2022-11-02Win10搭建Hadoop环境
- 2022-10-19Hadoop生态系统(数据仓库Hive的安装)
- 2022-10-03Hadoop、storm和Spark Streaming简单介绍
- 2022-10-03胖虎的Hadoop笔记——Hadoop的伪分布式部署
- 2022-09-11Ubuntu搭建全分布式Hadoop
- 2022-09-11Ubuntu搭建全分布式Hadoop
- 2022-09-09Ubuntu下安装伪分布式HADOOP遇到的一些问题