搜索结果
查询Tags标签： cdc，共有 30条记录-
FlinkSQL实战开发
FlinkSQL实战开发 1、基础知识FlinkSQL分为Table API和SQL API，是架构于Flink Core之上用SQL予以方便快捷地进行结构化数据处理的上层库。工作流程SQL和Table在进入Flink以后转化成统一的数据结构表达形式，也就是逻辑计划(logic plan)，其中catalog提供元数据信息，用于…
2024/1/15 5:02:47 人评论 次浏览 -
flink-cdc同步mysql数据到hive
本文首发于我的个人博客网站 等待下一个秋-Flink什么是CDC？ CDC是（Change Data Capture 变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等），将这些变更按发生的顺序完整记录下来，写入到消息中间…
2022/9/17 2:17:16 人评论 次浏览 -
融合数据库生态：利用 EventBridge 构建 CDC 应用
作者：昶风 引言 CDC（Change Data Capture）指的是监听上游数据变更，并将变更信息同步到下游业务以供进一步处理的一种应用场景。近年来事件驱动架构（EDA）热度逐步上升，日渐成为项目架构设计者的第一选择。EDA 天然契合 CDC 的底层基础架构，其将数据变更作为事件，各…
2022/7/30 2:25:00 人评论 次浏览 -
Spyglass CDC工具使用（三）
最近一直在搞CDC (clock domain crossing) 方面的事情，现在就CDC的一些知识点进行总结。 做CDC检查使用的是Spyglass工具。以下内容转载自：Spyglass检查之CDC（2） | 码农家园 (codenong.com)文章目录Clock_info03aClock_info05a/bClock_info18本篇文章主要介绍CDC检查第…
2022/7/7 23:20:12 人评论 次浏览 -
Spyglass CDC工具使用（二）
最近一直在搞CDC (clock domain crossing) 方面的事情，现在就CDC的一些知识点进行总结。 做CDC检查使用的是Spyglass工具。以下内容转载自：Spyglass检查之CDC（2） | 码农家园 (codenong.com) 文章目录Clock_info01 Reset_info1 Setup_clock01本文主要介绍cdc_setup过程…
2022/7/7 23:20:11 人评论 次浏览 -
【计算机图形学】
#** MFC绘图的几种方式 ** ##1.使用OnDraw()函数直接绘图 在CTestView类的OnDDraw()成员函数内绘图，可以直接使用pDC指针绘图，且程序一运行屏幕上即自动绘出图形，这种方法常用于绘制初始场景。 ##2.使用菜单绘图 （1）在ResourceView标签页内双击Menu项中的IDR_MAINFRA…
2022/3/21 0:01:11 人评论 次浏览 -
Flink-cdc2.1 分片算法导致GC问题
一、背景 目前 yarn 集群 360 个FLink实时作业，90% 都是使用 flink1.13.3 + cdc2.1 ，在12月17号发现一个流任务：xxx_mysql_kafka 运行无异常，但是一直不往 Kafka 发送最新数据 二、问题排查 1、 根据该任务 application id 查看具体运行在那个 yarn 节点上堡垒机登录该…
2022/2/28 17:22:11 人评论 次浏览 -
flink实时读取mongodb方案调研-实现mongodb cdc
背景介绍 mongodb目前是很多企业业务上常用的nosql数据库。我们需要对这些业务mongodb数据库进行 数据同步到 数据仓库中进行 数据分析处理。 技术选型 CDC介绍 CDC (Change Data Capture) 是一种用于捕捉数据库变更数据的技术 CDC 技术的应用场景非常广泛： 数据同步：用…
2022/2/10 2:15:32 人评论 次浏览 -
USB协议学习笔记 - CDC类虚拟串口Virtual Port Com
描述 USB 的功能还是比较的复杂，这里主要了解USB CDC类（Communication Device Class）实现的虚拟串口 【Virtual Port Com】学习的思路依旧是先用起来，再去针对性的熟悉USB相关的协议USB转串口，是的，本篇就是实现这个功能 平台搭建 STM32平台：STM32L475，当然其他的…
2022/2/7 23:50:20 人评论 次浏览 -
Flink CDC 和 kafka 进行多源合并和下游同步方案
一、前言 本文主要是针对 Flink SQL 使用 Flink CDC 无法实现多库多表的多源合并问题，以及多源合并后如何对下游 Kafka 同步更新的问题，因为目前 Flink SQL 也只能进行单表 Flink CDC 的作业操作，这会导致数据库 CDC 的连接数过多。 但是 Flink CDC 的 DataStream API …
2022/1/31 23:11:22 人评论 次浏览 -
FLINK-CDC之sql方式的应用（mysql篇）
1、mysql中创建表，注意，mysql要开启binlog，否则报错CREATE TABLE `cdc_user` ( `id` BIGINT(11) NOT NULL, `name` VARCHAR(50) NULL DEFAULT NULL COLLATE utf8mb4_bin, `type` VARCHAR(50) NULL DEFAULT NULL COLLATE utf8mb4_bin, `desc` TEXT NULL…
2022/1/17 19:11:17 人评论 次浏览 -
FLINK-CDC之sql方式的应用（mysql篇）
1、mysql中创建表，注意，mysql要开启binlog，否则报错CREATE TABLE `cdc_user` ( `id` BIGINT(11) NOT NULL, `name` VARCHAR(50) NULL DEFAULT NULL COLLATE utf8mb4_bin, `type` VARCHAR(50) NULL DEFAULT NULL COLLATE utf8mb4_bin, `desc` TEXT NULL…
2022/1/17 19:11:17 人评论 次浏览 -
JAVA整合FlinkCDC
官方地址：https://github.com/ververica/flink-cdc-connectors版本至少jdk8maven<dependency><groupId>com.ververica</groupId><!-- add the dependency matching your database --><artifactId>flink-connector-mysql-cdc</artifactI…
2021/12/20 20:22:13 人评论 次浏览 -
JAVA整合FlinkCDC
官方地址：https://github.com/ververica/flink-cdc-connectors版本至少jdk8maven<dependency><groupId>com.ververica</groupId><!-- add the dependency matching your database --><artifactId>flink-connector-mysql-cdc</artifactI…
2021/12/20 20:22:13 人评论 次浏览 -
Flink CDC 2.1 正式发布，稳定性大幅提升，新增 Oracle，MongoDB 支持
简介：Flink CDC 2.1 正式发布, 更稳定，更强大本文作者徐榜江 (雪尽)以下视频为伍翀 (云邪) 分享的 Flink CDC 前世今生：https://www.bilibili.com/video/BV1jT4y1R7ir/前言 CDC (Change Data Capture) 是一种用于捕捉数据库变更数据的技术，Flink 从 1.11 版本开始原生…
2021/11/24 19:42:08 人评论 次浏览
