MySQL Binlog解析工具MaxWell详解
2021/7/19 19:09:43
本文主要是介绍MySQL Binlog解析工具MaxWell详解,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
修改配置文件:
[atone@hadoop102 maxwell-1.25.0]$ cp config.properties.example config.properties 修改配置文件 producer=kafka kafka.bootstrap.servers=hadoop102:9092,hadoop103:9092,hadoop104:9092 #需要添加 kafka_topic=ods_base_db_m # mysql login info host=hadoop102 user=maxwell password=000000 #需要添加 后续初始化会用 client_id=maxwell_1
注:
1、指定固定数据库数据表到指定的topic中去,可以通过动态topic设置
Maxwell 会将消息投递到Kafka的Topic中,该Topic由 kafka_topic
选项指定,默认值为 maxwell
,除了指定为静态的Topic,
还可以指定为动态的,譬如 namespace_%{database}_%{table}
,%{database}
和 %{table}
将被具体的消息的 database 和 table 替换。
2、默认还是输出到指定Kafka主题的一个kafka分区,因为多个分区并行可能会打乱binlog的顺序
如果要提高并行度,首先设置kafka的分区数>1,然后设置producer_partition_by属性
可选值producer_partition_by=database|table|primary_key|random| column
参考:
MySQL Binlog 解析工具 Maxwell
这篇关于MySQL Binlog解析工具MaxWell详解的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-06-25MySQL报错Duplicate entry '0' for key 'PRIMARY'
- 2024-05-29阿里 Canal 实时同步 MySQL 增量数据至 ClickHouse 数据库
- 2024-05-24在Linux下管理MySQL的大小写敏感性
- 2024-04-26MySQL查出时间比实际晚8小时的解决方案
- 2024-04-01JPA不识别MySQL的枚举类型
- 2024-03-30mysql数据库表卡死解决方法
- 2024-03-15MySQL多数据源笔记5-ShardingJDBC实战
- 2024-03-11natural join mysql
- 2024-03-11关于VS2017,VS2015 中利用 EF使用Mysql 不显示数据源问题解决方案
- 2024-02-26mysql 阿里云xb后缀备份文件恢复-icode9专业技术文章分享