搜索结果
查询Tags标签： DAGScheduler，共有 4条记录-
Spark 源码系列 - DAGScheduler -> runJob
目录结论DAGScheduler -> runJobDAGScheduler -> submitJob 结论 DAGScheduler -> runJob def runJob[T, U](val waiter = submitJob(rdd, func, partitions, callSite, resultHandler, properties)DAGScheduler -> submitJob将this, 新生成的jobid, 分区数 生…
2022/5/30 1:22:40 人评论 次浏览 -
Spark源码——Job全流程以及DAGScheduler的Stage划分
（图片来源：北风网） 进去RDD，随便点击一个action操作,比如foreach操作/*** Applies a function f to all elements of this RDD.*/def foreach(f: T => Unit): Unit = withScope {val cleanF = sc.clean(f)sc.runJob(this, (iter: Iterator[T]) => iter.foreach(…
2021/12/14 22:16:40 人评论 次浏览 -
Spark源码——Job全流程以及DAGScheduler的Stage划分
（图片来源：北风网） 进去RDD，随便点击一个action操作,比如foreach操作/*** Applies a function f to all elements of this RDD.*/def foreach(f: T => Unit): Unit = withScope {val cleanF = sc.clean(f)sc.runJob(this, (iter: Iterator[T]) => iter.foreach(…
2021/12/14 22:16:40 人评论 次浏览 -
DAGScheduler 是什么？有什么作用？
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系正文 RDD DAG 构建了基于数据流之上的操作算子流，即 RDD 的各个分区的数…
2021/6/29 23:28:21 人评论 次浏览
