大三寒假学习 spark学习 spark集群环境搭建

本文主要是介绍大三寒假学习 spark学习 spark集群环境搭建，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

配置环境变量：

　　在master节点的终端中执行：vim ~/.bashrc

　　添加如下配置：export SPARK_HOME=/opt/module/spark-3.1.2 export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

　　运行source命令使配置立即生效：source ~/.bashrc

配置workers文件：

　　编辑workers文件将localhost替换为节点主机名，一个主机名占一行

配置spark-env.sh文件：

 　　添加如下内容：

　　最后一个为master的ip，前两个要替换为你自己的本地路径

分发spark文件到各个节点：

　　利用了之前写好的脚本xsync分发，https://www.bilibili.com/video/BV1Qp4y1n7EN?p=28里面有脚本的编写详情

这篇关于大三寒假学习 spark学习 spark集群环境搭建的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！