本文主要是介绍Spark 源码系列 - SparkConf本质，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

• 结论
• 代码
• SparkConf -> setAppName
• SparkConf -> set 重载方法(两个参数)
• SparkConf

结论

SparkConf设置的key / value 保存在SparkConf名为settings的变量中，该变量类型为ConcurrentHashMap

• SparkConf的setXX方法, 封装了特定的属性名和值存储到map中
• SparkConf的set方法，直接将属性名和值存储到map中。

代码

val conf = new SparkConf()
conf.setAppName("my-spark-01")
conf.setMaster("local")
conf.set("spark.default.parallelism", "3")

SparkConf -> setAppName

  def setAppName(name: String): SparkConf = {
    set("spark.app.name", name)
  }

SparkConf -> set 重载方法(两个参数)

  def set(key: String, value: String): SparkConf = {
    set(key, value, false)
  }

SparkConf

  private val settings = new ConcurrentHashMap[String, String]()
  ...
  private[spark] def set(key: String, value: String, silent: Boolean): SparkConf = {
    ...
    settings.put(key, value)
    this
  }

这篇关于Spark 源码系列 - SparkConf本质的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！