GroupByKey
2021/7/16 23:40:06
本文主要是介绍GroupByKey,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
package sparkcore import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object Demo07GroupByKey { def main(args: Array[String]): Unit = { val conf: SparkConf = new SparkConf().setAppName("GroupByKey").setMaster("local") val sc = new SparkContext(conf) val linesRDD: RDD[String] = sc.textFile("data/words.txt") //flatmap将数据进行切分,一行切成多行 val wordsRDD: RDD[String] = linesRDD.flatMap(_.split(",")) // wordsRDD.foreach(println) //将切好的一个个单词进行map,转换成kv格式 val kvRDD: RDD[(String, Int)] = wordsRDD.map(word => (word, 1)) /** * groupByKey:通过key进行分组,将value放在迭代器中 * groupBy:指定一个分组的列 * * 都会产生shuffle */ val groupByKeyRDD: RDD[(String, Iterable[Int])] = kvRDD.groupByKey() val countRDD: RDD[(String, Int)] =groupByKeyRDD.map { case (word: String, values: Iterable[Int]) => (word, values.sum) } countRDD.foreach(println) val groupByRDD: RDD[(String, Iterable[(String, Int)])] = kvRDD.groupBy(kv => kv._1) groupByRDD.foreach(println) } }
这篇关于GroupByKey的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-11-02Java管理系统项目实战入门教程
- 2024-11-02Java监控系统项目实战教程
- 2024-11-02Java就业项目项目实战:从入门到初级工程师的必备技能
- 2024-11-02Java全端项目实战入门教程
- 2024-11-02Java全栈项目实战:从入门到初级应用
- 2024-11-02Java日志系统项目实战:初学者完全指南
- 2024-11-02Java微服务系统项目实战入门教程
- 2024-11-02Java微服务项目实战:新手入门指南
- 2024-11-02Java项目实战:新手入门教程
- 2024-11-02Java小程序项目实战:从入门到简单应用