pandas dataframe 与 spark dataframe 互相转换(数据类型应该怎么转换呢?)

2021/11/30 6:06:22

本文主要是介绍pandas dataframe 与 spark dataframe 互相转换(数据类型应该怎么转换呢?),对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

文章大纲

  • spark 2.x 版本
  • spark 3.2 版本及以上
  • 参考文献


spark 2.x 版本

spark 2.4.8 版本:

  • https://spark.apache.org/docs/2.4.8/api/python/_modules/pyspark/sql/dataframe.html#DataFrame.toPandas

spark 3.2 版本及以上

pyspark 如下文档给出了答案:

spark 3.2 版本:

  • http://spark.apache.org/docs/latest/api/python/user_guide/pandas_on_spark/types.html?highlight=to_pandas

参考文献

  • spark 中的数据类型


这篇关于pandas dataframe 与 spark dataframe 互相转换(数据类型应该怎么转换呢?)的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!


扫一扫关注最新编程教程