Flink核心抽象三数据转换

本文主要是介绍Flink核心抽象三数据转换，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

Transformation在Flink中被称为数据转换，Transformation面向Flink内核，DataStream面向开发者。

Transformation有两大类，物理Transformation和虚拟Transformation

Transformation是顶层的抽象，在所有物理的Transformation都是继承PhysicalTransformation

其他的类型的Transformation均为虚拟Transformation。

 Transformation包含Flink运行时的重要参数

1、name

转换器的名字，主要用于Web UI的可视化

2、uid

用户指定的uid，在job重启时再次分配和之前相同的uid，可以持久保存状态

3、bufferTimeout

buffer超时时间

4、parallelism

并行度

5、id

和属性uid无关，生成方式基于静态累加器

public Transformation(String name, TypeInformation<T> outputType, int parallelism) {
   this.id = getNewNodeId

这篇关于Flink核心抽象三数据转换的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！