Castled 源码解析 - connector 模块WarehousePollContext 说明
2022/2/1 1:10:42
本文主要是介绍Castled 源码解析 - connector 模块WarehousePollContext 说明,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
connector模块中的WarehousePollContext是比较重要的
代码说明
- 关于pipeline 格式的定义
了解pipeline格式定义,对于分析后边的代码是很有意义的,可以知道依赖的模块
public class PipelineConfigDTO {
@NotNull
private String name; // 名称
@NotNull
private JobSchedule schedule; // 调度信息,主要是关于任务调度的
@NotNull
private Long appId; // 关联的appid,外部服务在Castled 中称之为app
@NotNull
private Long warehouseId; // 配置的warehouse 定义
@NotNull
private String sourceQuery; // 数据查询sql
@NotNull
private QueryMode queryMode; // 处理模式,全量以及增量
private AppSyncConfig appSyncConfig; // 关于app 的一些配置,从定义上来说属于重复定义,因为appid 可以代表
private CastledDataMapping mapping; // datawarehouse 与app 的数据schema 映射处理(基于了cfl处理)同时注意Castled 是需要主键的,这个在好多reverse ETL 都有说明
}
- WarehousePollContext定义
WarehousePollContext 在poller 中是比较重要的,poller大部分都是需要依赖此对象的数据进行处理的,依赖上边定义的pipeline参数
public class WarehousePollContext {
private WarehouseConfig warehouseConfig;
private List<String> primaryKeys;
private String query;
private QueryMode queryMode;
//uuid and not the incrementing id;
private String pipelineUUID;
private Long pipelineId;
private Long pipelineRunId;
private String dataEncryptionKey;
private RecordSchema warehouseSchema;
}
说明
pipeline 以及context 是将app 以及poller 关联的对象,是比较重要的,后续web app 会用到这些
参考资料
https://github.com/castledio/castled
https://oss-docs.castled.io/
这篇关于Castled 源码解析 - connector 模块WarehousePollContext 说明的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-07-03微信支付提示下单账户与支付账户不一致-icode9专业技术文章分享
- 2024-07-03微信支付提示订单号重复-icode9专业技术文章分享
- 2024-07-02微服务启动nacos注册上去了,但是一直没有收到请求-icode9专业技术文章分享
- 2024-07-02如何检查文件的编码格式-icode9专业技术文章分享
- 2024-07-02sublime 更改编码格式-icode9专业技术文章分享
- 2024-06-30uniAPP 实现全屏左右滚动滚动的效果-icode9专业技术文章分享
- 2024-06-30如何在本地使用授权或插件-icode9专业技术文章分享
- 2024-06-30伪静态规则配置方法汇总-icode9专业技术文章分享
- 2024-06-29易优CMS安装常见问题汇总-icode9专业技术文章分享
- 2024-06-28易优新手必读安装教程-icode9专业技术文章分享