搜索结果
查询Tags标签: keyBy,共有 5条记录-
大数据_Flink_Java版_数据处理_Watermark在任务间的传递---Flink工作笔记0054
上一节我们说到了waterMark,这个时间数据的作用,我们知道waterMark表示在这个时间数据的,之前的数据都已经传输完了.我们来看,我们知道在flink中,一个任务可以分为多个子任务,那么上游任务的数据,到子任务的时候, 数据我们说,如果设置了keyby那么,他分配下游子任务数据的时…
2022/3/19 9:27:35 人评论 次浏览 -
keyby算子源码
Keyby点进去看源码,KeySelector是你new 的匿名内部类,重写getkey函数。 它主要是new 一个KeyedStream类(this就是上游的父dataStream,clean检测是不是序列化的)进到keyStream里面,new了一个 PartitionTransformation类,主要是进到KeyGroupStreamPartitioner(key分组…
2022/1/7 22:06:15 人评论 次浏览 -
keyby算子源码
Keyby点进去看源码,KeySelector是你new 的匿名内部类,重写getkey函数。 它主要是new 一个KeyedStream类(this就是上游的父dataStream,clean检测是不是序列化的)进到keyStream里面,new了一个 PartitionTransformation类,主要是进到KeyGroupStreamPartitioner(key分组…
2022/1/7 22:06:15 人评论 次浏览 -
Flink实战(七) - Time & Windows编程
0 相关源码 掌握Flink中三种常用的Time处理方式,掌握Flink中滚动窗口以及滑动窗口的使用,了解Flink中的watermark。 Flink 在流处理工程中支持不同的时间概念。 1 处理时间(Processing time) 执行相应算子操作的机器的系统时间. 当流程序在处理时间运行时,所有基于时间…
2021/7/8 7:10:46 人评论 次浏览 -
Flink实战(七) - Time & Windows编程
0 相关源码 掌握Flink中三种常用的Time处理方式,掌握Flink中滚动窗口以及滑动窗口的使用,了解Flink中的watermark。 Flink 在流处理工程中支持不同的时间概念。 1 处理时间(Processing time) 执行相应算子操作的机器的系统时间. 当流程序在处理时间运行时,所有基于时…
2021/7/8 7:10:36 人评论 次浏览