从mysql读数据创建DataFrame

本文主要是介绍从mysql读数据创建DataFrame，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

第一种方式spark.read.jdbc（）

object _01_ReadJDBC {
  def main(args: Array[String]): Unit = {
    //1、创建spark session
    val spark: SparkSession = SparkSession.builder().master("local[*]").getOrCreate()

    val  properties = new Properties()
    properties.setProperty("user","root")
    properties.setProperty("password","123456")
    properties.setProperty("query","id >= 2") //Both 'dbtable' and 'query' can not be specified at the same time.
    //从jdbc中读取数据
    val dataFrame = spark.read.jdbc("jdbc:mysql://localhost:3306/sql_01?characterEncoding=utf8",
      "stu", properties)
    //加上过滤条件
    dataFrame.createTempView("jdbc_01")
    val frame = spark.sql(
      """
        |select id,name
        |from
        |jdbc_01
        |where id >= 2;
        |""".stripMargin)

    frame.show()
    spark.stop()
  }
}

第二种方式spark.read.format(“jdbc”).options(pro).load()

object _02_ReadJDBC {
  def main(args: Array[String]): Unit = {

    //获取session对象
    val spark: SparkSession = SparkSession.builder().master("local[*]").getOrCreate()
   //从jdbc中读取数据并且进行过滤

    val pro = new mutable.HashMap[String,String]()

    pro.put("url","jdbc:mysql://localhost:3306/sql_01?characterEncoding=utf8")
    pro.put("user","root")
    pro.put("password","123456")
    pro.put("query","select * from users where userid >= 8 ")
    //pro.put("dbtable","users")
    //DataFrame一定会有Schema信息，这是读取mysql的schema信息获取的
    val dataFrame: DataFrame = spark.read.format("jdbc").options(pro).load()

    dataFrame.show()
    spark.stop()
  }
}

这篇关于从mysql读数据创建DataFrame的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！