RDD 序列化

本文主要是介绍RDD 序列化，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

问题引入

想看一个需求：定义一个 用户类，有一个name 属性和toSting方法：

class User {
  var name: String = _
  override def toString: String = s"User{$name}"
}

现在要声明两个对象并给name 属性赋值，然后将两个实例放在一个rdd里，进行采集打印：

 def main(args: Array[String]): Unit = {
    //获取 SparkConf 并设置应用名称*本地模式
    val conf: SparkConf = new SparkConf().setAppName("Spark").setMaster("local[*]")
    //获取 Spark 上下文对象
    val sc: SparkContext = new SparkContext(conf)
    var lhc: User = new User
    var yilin: User = new User
    lhc.name = "令狐冲"
    yilin.name = "依琳"
    val userRDD: RDD[User] = sc.makeRDD(List(lhc, yilin))
    userRDD.foreach(println)
    //释放 Spark 上下文对象
    sc.stop
  }

看逻辑没什么问题：但是在运行的时候报错了

2022-05-26 20:35:25      ERROR (org.apache.spark.util.Utils:logError) - Exception encountered
java.io.NotSerializableException: org.wdh01.spark04.User
    at java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:1184)
    at java.io.ObjectOutputStream.writeArray(ObjectOutputStream.java:1378)
    at java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:1174)
    at java.io.ObjectOutputStream.defaultWriteFields(ObjectOutputStream.java:1548)
    at java.io.ObjectOutputStream.writeSerialData(ObjectOutputStream.java:1509)
    at java.io.ObjectOutputStream.writeOrdinaryObject(ObjectOutputStream.java:1432)
    at java.io.ObjectOutputStream.writeObject0(ObjectOutputStream.java:1178)
    at java.io.ObjectOutputStream.defaultWriteFields(ObjectOutputStream.java:1548)
    at java.io.ObjectOutputStream.defaultWriteObject(ObjectOutputStream.java:441)
    at org.apache.spark.rdd.ParallelCollectionPartition.$anonfun$writeObject$1(ParallelCollectionRDD.scala:59)

说是没有进行序列化

问题出在哪里呢？在 spark 程序初始化操作发生在Driver端，具体算子执行在Executor端执行，如果在Executor执行的时候，要访问Driver端初始化的数据，那么就涉及跨进程跨节点通信 所以要求传递的数据必须是可序列化的

如何进行序列化

方案1、混入 Serializable

class User extends Serializable {
  var name: String = _
  override def toString: String = s"User{$name}"
}

这样就可以解决了，但是需要注意，这里的 Serializable 其实是继承了java 的 Serializable

package scala

/**
 * Classes extending this trait are serializable across platforms (Java, .NET).
 */
trait Serializable extends Any with java.io.Serializable

java 的序列化其实还是比较重量级的，这一点需要注意

方案2、将类声明为样例类

但是并非所有类都适用这种场景，

方案3、使构造参数对序列化的数据进行赋值

这篇关于RDD 序列化的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！