搜索结果
查询Tags标签： jobId，共有 4条记录-
Spark 源码系列 - DAGScheduler -> runJob
目录结论DAGScheduler -> runJobDAGScheduler -> submitJob 结论 DAGScheduler -> runJob def runJob[T, U](val waiter = submitJob(rdd, func, partitions, callSite, resultHandler, properties)DAGScheduler -> submitJob将this, 新生成的jobid, 分区数 生…
2022/5/30 1:22:40 人评论 次浏览 -
Spark源码——Job全流程以及DAGScheduler的Stage划分
（图片来源：北风网） 进去RDD，随便点击一个action操作,比如foreach操作/*** Applies a function f to all elements of this RDD.*/def foreach(f: T => Unit): Unit = withScope {val cleanF = sc.clean(f)sc.runJob(this, (iter: Iterator[T]) => iter.foreach(…
2021/12/14 22:16:40 人评论 次浏览 -
Spark源码——Job全流程以及DAGScheduler的Stage划分
（图片来源：北风网） 进去RDD，随便点击一个action操作,比如foreach操作/*** Applies a function f to all elements of this RDD.*/def foreach(f: T => Unit): Unit = withScope {val cleanF = sc.clean(f)sc.runJob(this, (iter: Iterator[T]) => iter.foreach(…
2021/12/14 22:16:40 人评论 次浏览 -
xxl-job的适用场景
前言 最近在设计一个项目，项目里面涉及到了任务创建和任务运行，这个就让我想到做一个单独的执行器服务。按照以往的经验，项目里的数据量也不会很高，那么任务的创建运行实际上单台机器就能应付，好像也没必要硬上分布式执行器吧。但是呢，虽然以往的经验如此，万一这个…
2021/4/17 18:25:20 人评论 次浏览
