本文主要是介绍Spark 源码系列 - SparkContext启动 - 运行模式，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

• 结论
• SparkContext
• 第三方集群模式

结论

SparkContext启动，根据setMaster设置的Url匹配运行模式。

SparkContext

// 根据设置的master字符串的内容进行匹配
master match {
      // local模式
      case "local" => ...
      ...
      // local[n] 和 local[*] 模式 n为thread数量
      case LOCAL_N_REGEX(threads)
      ...
      // local[N, maxRetries]
      case LOCAL_N_FAILURES_REGEX(threads, maxFailures)
      ...
      // spark:// Spark standalone 集群模式
      case SPARK_REGEX(sparkUrl)
      ...
      // Yarn Mesos K8s 集群模式
      case masterUrl =>
        ...
        try {
          // YarnClusterScheduler
          val scheduler = cm.createTaskScheduler(sc, masterUrl)
          // YarnClusterSchedulerBackend
          val backend = cm.createSchedulerBackend(sc, masterUrl, scheduler)

第三方集群模式

https://spark.apache.org/docs/latest/cluster-overview.html#cluster-manager-types

这篇关于Spark 源码系列 - SparkContext启动 - 运行模式的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！