搜索结果
查询Tags标签： SparkConf，共有 13条记录-
Spark 源码系列 - SparkConf本质
目录结论代码SparkConf -> setAppNameSparkConf -> set 重载方法(两个参数)SparkConf 结论 SparkConf设置的key / value 保存在SparkConf名为settings的变量中，该变量类型为ConcurrentHashMapSparkConf的setXX方法, 封装了特定的属性名和值存储到map中 SparkConf的…
2022/5/3 20:14:32 人评论 次浏览 -
Could not locate executable null\bin\winutils.exe解决方案
本地Spark程序调试需要使用local提交模式，即将本机当做运行环境，Master和Worker都为本机。运行时直接加断点调试即可。如下： 创建SparkConf的时候设置额外属性，表明本地执行： val conf = new SparkConf().setAppName("WC").setMaster("local[*]"…
2022/4/26 6:16:49 人评论 次浏览 -
第五章_Spark核心编程_Rdd_行动算子_take
1.定义/* * 1.定义 * def take(num: Int): Array[T] * 2.功能 * 返回一个由 RDD 的前 n 个元素组成的数组 * * */2.示例object takeTest extends App {val sparkconf: SparkConf = new SparkConf().setMaster("local").setAppName("distinctTest&q…
2022/3/27 20:23:05 人评论 次浏览 -
寒假学习进度
今天学习spark的一些行动算子和序列化 （1）行动算子 def main(args: Array[String]): Unit = {val sparkConf = new SparkConf().setMaster("local[*]").setAppName("Operator")val sc = new SparkContext(sparkConf)val rdd = sc.makeRDD(List((&qu…
2022/1/18 23:38:30 人评论 次浏览 -
寒假学习进度
今天学习spark的一些行动算子和序列化 （1）行动算子 def main(args: Array[String]): Unit = {val sparkConf = new SparkConf().setMaster("local[*]").setAppName("Operator")val sc = new SparkContext(sparkConf)val rdd = sc.makeRDD(List((&qu…
2022/1/18 23:38:30 人评论 次浏览 -
寒假学习进度8
今天继续学习spark双value算子 （1） def main(args: Array[String]): Unit = {val sparkConf = new SparkConf().setMaster("local[*]").setAppName("Operator15")val sc = new SparkContext(sparkConf)//双value，数据源类型要保持一致，拉链类型可…
2022/1/3 23:39:50 人评论 次浏览 -
寒假学习进度8
今天继续学习spark双value算子 （1） def main(args: Array[String]): Unit = {val sparkConf = new SparkConf().setMaster("local[*]").setAppName("Operator15")val sc = new SparkContext(sparkConf)//双value，数据源类型要保持一致，拉链类型可…
2022/1/3 23:39:50 人评论 次浏览 -
寒假学习进度7
今天学习完单value的算子和双value算子的开始 （1）distinct def main(args: Array[String]): Unit = {val sparkConf = new SparkConf().setMaster("local[*]").setAppName("Operator15")val sc = new SparkContext(sparkConf)//distinct,去重val rd…
2022/1/1 23:37:54 人评论 次浏览 -
寒假学习进度7
今天学习完单value的算子和双value算子的开始 （1）distinct def main(args: Array[String]): Unit = {val sparkConf = new SparkConf().setMaster("local[*]").setAppName("Operator15")val sc = new SparkContext(sparkConf)//distinct,去重val rd…
2022/1/1 23:37:54 人评论 次浏览 -
寒假学习进度6
今天继续学习sparkRDD的算子 （1）flatMap def main(args: Array[String]): Unit = {val sparkConf = new SparkConf().setMaster("local[*]").setAppName("Operator11")val sparkContext = new SparkContext(sparkConf)val rdd: RDD[List[Int]]= spa…
2021/12/31 23:07:27 人评论 次浏览 -
寒假学习进度6
今天继续学习sparkRDD的算子 （1）flatMap def main(args: Array[String]): Unit = {val sparkConf = new SparkConf().setMaster("local[*]").setAppName("Operator11")val sparkContext = new SparkContext(sparkConf)val rdd: RDD[List[Int]]= spa…
2021/12/31 23:07:27 人评论 次浏览 -
SparkConf源码简析
1、所有的配置存储在一个ConcurrentHashMap中，名为settings。 2、Spark的参数配置有以下三种获取。源于系统参数中以spark为前缀的属性。（通过System.getProperties获取）使用SparkConf的API设置的。从其他SparkConf中克隆的。3、源于系统参数中以spark为前缀的属性。 …
2021/10/26 9:09:56 人评论 次浏览 -
SparkConf源码简析
1、所有的配置存储在一个ConcurrentHashMap中，名为settings。 2、Spark的参数配置有以下三种获取。源于系统参数中以spark为前缀的属性。（通过System.getProperties获取）使用SparkConf的API设置的。从其他SparkConf中克隆的。3、源于系统参数中以spark为前缀的属性。 …
2021/10/26 9:09:56 人评论 次浏览
