Spark快速上手(6)Spark核心编程-RDD行动算子Action
2022/7/8 14:24:09
本文主要是介绍Spark快速上手(6)Spark核心编程-RDD行动算子Action,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
RDD(3)
RDD行动算子
所谓行动算子,就是触发Job执行的方法
reduce
函数签名
def reduce(f: (T, T) => T): T
函数说明
聚集RDD中的所有元素,先聚合分区内数据,再聚合分区间数据
e.g.
code:
def main(args: Array[String]): Unit = { val source: RDD[Int] = sc.makeRDD(List(1, 2, 3, 4)) // 聚合数据 val reduceResult: Int = source.reduce(_ + _) println(reduceResult) }
result:
10
collect
函数签名
def collect(): Array[T]
函数说明
在驱动程序中,以数组Array形式返回数据集中的所有元素
e.g.
code:
@Test def testCollect(): Unit = { // 收集数据到driver source.collect().foreach(println) }
count
函数签名
def count(): Long
函数说明
返回RDD中的元素的个数
e.g.
code:
@Test def testCount(): Unit = { // 返回 RDD 中元素的个数 println(source.count()) }
first
函数签名
def first(): T
函数说明
返回RDD中的第一个元素
e.g.
code:
@Test def testFirst(): Unit ={ // 返回 RDD 中的第一个元素 println(source.first()) }
这篇关于Spark快速上手(6)Spark核心编程-RDD行动算子Action的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-11-23增量更新怎么做?-icode9专业技术文章分享
- 2024-11-23压缩包加密方案有哪些?-icode9专业技术文章分享
- 2024-11-23用shell怎么写一个开机时自动同步远程仓库的代码?-icode9专业技术文章分享
- 2024-11-23webman可以同步自己的仓库吗?-icode9专业技术文章分享
- 2024-11-23在 Webman 中怎么判断是否有某命令进程正在运行?-icode9专业技术文章分享
- 2024-11-23如何重置new Swiper?-icode9专业技术文章分享
- 2024-11-23oss直传有什么好处?-icode9专业技术文章分享
- 2024-11-23如何将oss直传封装成一个组件在其他页面调用时都可以使用?-icode9专业技术文章分享
- 2024-11-23怎么使用laravel 11在代码里获取路由列表?-icode9专业技术文章分享
- 2024-11-22怎么实现ansible playbook 备份代码中命名包含时间戳功能?-icode9专业技术文章分享