Spark创建RDD的四种方式
2022/3/8 6:15:07
本文主要是介绍Spark创建RDD的四种方式,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
在Spark中创建RDD的创建方式可以分为四种:
ps:本文代码基于spark on zeppelin实现
1、从集合(内存)中创建RDD
从集合中创建RDD,Spark主要提供了两个方法:parallelize和makeRDD
// 使用parallelize方法 val rdd1 = sc.parallelize(List(1,2,3,4)) //使用makeRDD方法 val rdd2=sc.makeRDD(List(1,2,3,4))) //输出 rdd1.collect().foreach(println) rdd2.collect().foreach(println)
从底层代码实现来讲,makeRDD方法其实就是parallelize方法
def makeRDD[T: ClassTag]( seq: Seq[T], numSlices: Int = defaultParallelism): RDD[T] = withScope { parallelize(seq, numSlices) }
2、从外部存储文件创建RDD
由外部存储系统的数据集创建RDD包括:本地的文件系统,所有Hadoop支持的数据集,比如HDFS、HBase等。
//输入文件路径读取内容 val fileRDD: RDD[String] = sc.textFile("path") fileRDD.collect().foreach(println)
Spark中文件路径的编写方式:Spark中textFile从外部读取数据的用法 - 干了这瓶老干妈 - 博客园 (cnblogs.com)
3、从其它RDD创建
通过一个RDD运算完后,再产生新的RDD。(主要是根据RDD不可变的特性)
4、直接创建RDD(new)
使用new的方式直接构造RDD,一般由Spark框架自身使用。
这篇关于Spark创建RDD的四种方式的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-10-05小米13T Pro系统合集:性能与摄影的极致融合,值得你升级的系统ROM
- 2024-10-01基于Python+Vue开发的医院门诊预约挂号系统
- 2024-10-01基于Python+Vue开发的旅游景区管理系统
- 2024-10-01RestfulAPI入门指南:打造简单易懂的API接口
- 2024-10-01初学者指南:了解和使用Server Action
- 2024-10-01Server Component入门指南:搭建与配置详解
- 2024-10-01React 中使用 useRequest 实现数据请求
- 2024-10-01使用 golang 将ETH账户的资产平均分散到其他账户
- 2024-10-01JWT用户校验课程:从入门到实践
- 2024-10-01Server Component课程入门指南