MySQL Binlog解析工具MaxWell详解

2021/7/19 19:09:43

本文主要是介绍MySQL Binlog解析工具MaxWell详解,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

修改配置文件:

[atone@hadoop102 maxwell-1.25.0]$ cp config.properties.example config.properties

修改配置文件
producer=kafka

kafka.bootstrap.servers=hadoop102:9092,hadoop103:9092,hadoop104:9092

 

#需要添加

kafka_topic=ods_base_db_m

 

# mysql login info

host=hadoop102

user=maxwell

password=000000

 

#需要添加 后续初始化会用

client_id=maxwell_1

注:

1、指定固定数据库数据表到指定的topic中去,可以通过动态topic设置

Maxwell 会将消息投递到Kafka的Topic中,该Topic由 kafka_topic 选项指定,默认值为 maxwell,除了指定为静态的Topic,

还可以指定为动态的,譬如 namespace_%{database}_%{table}%{database} 和 %{table} 将被具体的消息的 database 和 table 替换。

 

2、默认还是输出到指定Kafka主题的一个kafka分区,因为多个分区并行可能会打乱binlog的顺序

如果要提高并行度,首先设置kafka的分区数>1,然后设置producer_partition_by属性

可选值producer_partition_by=database|table|primary_key|random| column

 

参考:

MySQL Binlog 解析工具 Maxwell



这篇关于MySQL Binlog解析工具MaxWell详解的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!


扫一扫关注最新编程教程