|NO.Z.00005|——————————|^^ 配置 ^^|——|Hadoop&Spark.V05|------------------------------------------|Spar

本文主要是介绍|NO.Z.00005|——————————|^^ 配置 ^^|——|Hadoop&Spark.V05|------------------------------------------|Spar，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

---

[BigDataHadoop：Hadoop&Spark.V05]                                        [BigDataHadoop.Spark内存级快速计算引擎][|章节一|Hadoop|spark|sparkcore：spark伪分布式模式|]

---

---

一、伪分布式

### --- 伪分布式

~~~     # 伪分布式模式：在一台机器中模拟集群运行，相关的进程在同一台机器上；
~~~     # 备注：不用启动集群资源管理服务；
~~~     local-cluster[N,cores,memory]
~~~     N模拟集群的 Slave（或worker）节点个数
~~~     cores模拟集群中各个Slave节点上的内核数
~~~     memory模拟集群的各个Slave节点上的内存大小
~~~     # 备注：参数之间没有空格，memory不能加单位

二、伪分布式模式集群启动

### --- 关闭相关服务

[root@hadoop02 ~]# stop-all-spark.sh
[root@hadoop01 ~]# stop-dfs.sh
[root@hadoop01 ~]# stop-yarn.sh

### --- 修改配置参数，解除hdfs配置参数

~~~     # spark-defaults.conf文件中，注释以下两行：
[root@hadoop01 ~]# vim $SPARK_HOME/conf/spark-defaults.conf
spark.master                    spark://hadoop02:7077
#spark.eventLog.enabled         true
#spark.eventLog.dir             hdfs://hadoop01:9000/spark-eventlog
#spark.serializer               org.apache.spark.serializer.KryoSerializer
spark.driver.memory            512m

### --- 启动 Spark 伪分布式模式

[root@hadoop01 ~]# spark-shell --master local-cluster[5,2,1024]
~~~ [4,2,1024]  5：表示副本数 2：core  1024表示内存数量 

~~~     # 使用 jps 检查，发现1个 SparkSubmit 进程和5个CoarseGrainedExecutorBackend 进程
~~~     SparkSubmit依然充当全能角色，又是Client进程，又是Driver程序，还有资源管理的作用。
~~~     5个CoarseGrainedExecutorBackend，用来并发执行程序的进程。

[root@hadoop01 ~]# jps
11399 CoarseGrainedExecutorBackend
11400 CoarseGrainedExecutorBackend
11401 CoarseGrainedExecutorBackend
11402 CoarseGrainedExecutorBackend
11390 CoarseGrainedExecutorBackend
11212 SparkSubmit

三、伪分布式模式集群验证测试

### --- 执行简单的测试程序
~~~     local-cluster[5,2,1024]，参数不要给太大，资源不够
~~~     这种模式少用，有Bug。SPARK-32236
~~~     10：表示精度

[root@hadoop01 ~]# spark-submit --master local-cluster[5,2,1024] \
--class org.apache.spark.examples.SparkPi \
$SPARK_HOME/examples/jars/spark-examples_2.12-2.4.5.jar 10
~~~ 输出参数  
Pi is roughly 3.142031142031142

---

附录一：定版文件

### --- $SPARK_HOME/conf/spark-defaults.conf

[root@hadoop01 ~]# vim $SPARK_HOME/conf/spark-defaults.conf
spark.master                    spark://hadoop02:7077
#spark.eventLog.enabled         true
#spark.eventLog.dir             hdfs://hadoop01:9000/spark-eventlog
#spark.serializer               org.apache.spark.serializer.KryoSerializer
spark.driver.memory            512m

---

===============================END===============================

---

Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart                                                                                                                                                   ——W.S.Landor

---

来自为知笔记(Wiz)

这篇关于|NO.Z.00005|——————————|^^ 配置 ^^|——|Hadoop&Spark.V05|------------------------------------------|Spar的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！