搜索结果
查询Tags标签： castled，共有 11条记录-
Castled 源码解析 - container 模块说明
container 属于Castled api 后端服务，后端包含了任务调度，db 迁移，有几个服务是比较重要的 主要是pipelineservice，ExternalAppService，WarehouseService，而且官方还提供了一套基于events 的处理 主要包含PipelineEvent,CastledEvent,其他的主要是基于dropwizard …
2022/2/1 14:59:53 人评论 次浏览 -
Castled 源码解析 - connector 模块app部分说明
app 部分属于Castled处理外部链接的核心，主要包含了ExternalAppConnector以及DataSink 核心组件ExternalAppConnector 选取了部分 DataSink 选取了部分 BufferedObjectSink 此对象是在每个DataSink实现都会包含的一个，核心是实现数据带buffer 的数据write处理，以及异常…
2022/2/1 1:11:28 人评论 次浏览 -
Castled 源码解析 - connector 模块几个中间表定义
Castled 的connector利用了schema 以及中间表进行数据存储（包含的已经提交的，未提交的） 官方使用了一个属于snapshot(快照)，对于数据的处理，官方使用了excep sql 函数，基于不同 时间的snapshot 利用excep 就可以知道数据的变动 几个提供的中间表 主要在ConnectorE…
2022/2/1 1:10:51 人评论 次浏览 -
Castled 源码解析 - connector 模块WarehousePollContext 说明
connector模块中的WarehousePollContext是比较重要的 代码说明关于pipeline 格式的定义 了解pipeline格式定义，对于分析后边的代码是很有意义的,可以知道依赖的模块public class PipelineConfigDTO {@NotNullprivate String name; // 名称@NotNullprivate JobSchedule s…
2022/2/1 1:10:42 人评论 次浏览 -
Castled 源码解析 - connector 模块connector以及poller说明
connector 属于Castled 一个比较核心的东西，包含了核心部分的datawarehouse数据poll 处理，同时也包含了对于不同外部服务集成的处理 当然才代码中我们也可以看到一部分基于stream 的处理（文件，jdbc，s3.。。。），auth部分基于了oauth目前更多是关注认证，但是没有授…
2022/1/31 22:10:43 人评论 次浏览 -
Castled 源码解析 - common 模块说明
Castled 的comon 模块包含了一个比较核心的东西form处理（官方成为CFL），同时也包含了一个常用的工具类CFL 是基于注解处理的，整体代码不是很多，比较重要的是schema，cfl，同时包含了Castled 自己开发的一个简单队列（阻塞以及带偏移的），同时定义了一些关于数据处理的…
2022/1/31 17:12:33 人评论 次浏览 -
Castled 源码解析 - jarvis 模块说明
jarvis 模块主要保基于quartz 包装了一些调度以及任务管理,包含了刷新job ，全局job 同时也暴露为了一个通用的guice 模块，同时基于jesque进行后台任务以及延迟任务的处理 通过代码会发现jesque 占比是比较多的（好多任务处理的，状态标记的），而且quartz更多是 与后…
2022/1/31 17:12:33 人评论 次浏览 -
来自Castled 官方的一篇性能对比
转自:https://medium.com/castled/fastest-reverse-etl-platform-census-vs-hightouch-vs-castled-3d2975dd4e55Fastest Reverse ETL Platform: Census vs Hightouch vs CastledIt is not even a year since the term Reverse ETL was coined. Since then, hundreds of mo…
2022/1/14 6:06:07 人评论 次浏览 -
来自Castled 官方的一篇性能对比
转自:https://medium.com/castled/fastest-reverse-etl-platform-census-vs-hightouch-vs-castled-3d2975dd4e55Fastest Reverse ETL Platform: Census vs Hightouch vs CastledIt is not even a year since the term Reverse ETL was coined. Since then, hundreds of mo…
2022/1/14 6:06:07 人评论 次浏览 -
castled 运行试用
castled 官方直接提供了docker-compose 一键运行 环境运行docker-composegit clone <a href="https://github.com/castledio/castled.git">https://github.com/castledio/castled.git</a>cd castleddocker-compose up -d pg 准备docker run -d -p 5…
2022/1/3 23:09:08 人评论 次浏览 -
castled 运行试用
castled 官方直接提供了docker-compose 一键运行 环境运行docker-composegit clone <a href="https://github.com/castledio/castled.git">https://github.com/castledio/castled.git</a>cd castleddocker-compose up -d pg 准备docker run -d -p 5…
2022/1/3 23:09:08 人评论 次浏览
