DStream窗口操作-countByWindow
2022/6/10 23:21:22
本文主要是介绍DStream窗口操作-countByWindow,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
package org.hnsw import org.apache.spark.SparkConf import org.apache.spark.streaming.{Seconds, StreamingContext} object DStream_winCountby { def main(args: Array[String]): Unit = { //1、初始化Context上下文 val conf = new SparkConf().setAppName("jxq").setMaster("local[*]") val sc = new StreamingContext(conf, Seconds(1)) //2、指定采集服务器ip和端口 //设置切换 sc.checkpoint("out") //执行countByWindow前需要设置checkpoint val dStream = sc.socketTextStream("192.168.3.66",8888) //3、业务逻辑 //窗口类rdd数据的数量 val dStream_win = dStream.countByWindow(Seconds(5), Seconds(2)) //指定窗口大小 和 滑动频率 必须是批处理时间的整数倍 dStream_win.print() //4、启动stream sc.start() //5、挂起stream sc.awaitTermination() } }
这篇关于DStream窗口操作-countByWindow的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-05-29Elasticsearch慢查询日志配置
- 2024-05-29揭秘华为如此多成功项目的产品关键——Charter模板
- 2024-05-29海外IDC业务拓展的7大挑战
- 2024-05-29InLine Chat功能优化对标Github Copilot,CodeGeeX带来更高效、更直观的编程体验!
- 2024-05-29CodeGeeX 智能编程助手 6 项功能升级,在Visual Studio插件市场霸榜2周!
- 2024-05-29AutoMQ 生态集成 Apache Doris
- 2024-05-292024年IDC行业的深度挖掘:机遇、挑战与未来展望
- 2024-05-29五款扩展组件齐发 —— Volcano、Keda、Crane-scheduler 等,邀你体验
- 2024-05-29AutoMQ 对象存储数据高效组织的秘密: Compaction
- 2024-05-29活动预告|来 GIAC 大会听大数据降本利器:AutoMQ 基于云原生重新设计的 Kafka