大三寒假学习 spark学习 第一个spark应用程序WorldCount
2022/1/24 22:05:01
本文主要是介绍大三寒假学习 spark学习 第一个spark应用程序WorldCount,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
在spark-shell进行词频统计:
flatMap将每一行按空格才分成为单词,map映射生成键值对,将单词计数,reduceByKey将相同单词叠加
wordCount.collect()将结果汇集,针对集群
结果:
编写独立程序进行词频统计:
新建wordCount.scala写入以下代码
import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.apache.spark.SparkConf object WordCount{ def main(args:Array[String]){ val inputFile = "file:///opt/module/data/english.txt" val conf = new SparkConf().setAppName("WordCount").setMaster("local[2]") val sc = new SparkContext(conf) val textFile = sc.textFile(inputFile) val wordCount = textFile.flatMap(line => line.split(" ")).map(word => (word,1)).reduceByKey((a,b) => a+b) wordCount.foreach(println) } }
打包:/opt/module/sbt/sbt package
spark-submit提交:/opt/module/spark-3.1.2/bin/spark-submit --class "WordCount" /opt/module/sbt/mycode/target/scala-2.12/simple-project_2.12-1.0.jar
运行结果:
这篇关于大三寒假学习 spark学习 第一个spark应用程序WorldCount的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-07-09cosmos 开发是什么-icode9专业技术文章分享
- 2024-07-09Cosmos 示例-icode9专业技术文章分享
- 2024-07-09安装Cosmos SDK-icode9专业技术文章分享
- 2024-07-09ubuntu 安装 cosmos-icode9专业技术文章分享
- 2024-07-09cosmos 开发能做到跨链吗-icode9专业技术文章分享
- 2024-07-09app 未公示个人信息的收集范围 的解决办法-icode9专业技术文章分享
- 2024-07-08测试人员在 Scrum 中的角色是什么?
- 2024-07-07Dify + TiDB Vector,快速构建你的AI Agent
- 2024-07-06有没有什么开源的py项目可以对图像进行分类-icode9专业技术文章分享
- 2024-07-05feign默认connecttimeout和readtimeout是多少-icode9专业技术文章分享