Canal同步MySQL数据至ES问题总结

本文主要是介绍Canal同步MySQL数据至ES问题总结，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

学习Canal同步MySQL数据至ES，在学习或测试过程中遇到的问题如下:

1.ES索引问题

1.必须先在ES创建好对应索引的Mapping。否则，会没有识别索引，会报写入错误。
2.索引字段必须和adapter select字段一致，否则会同步出错

2.ES版本问题

官网给出canal-1.1.4支持6.x.x以上，当测试同步时，ES7.x版本死活同步不了，询问社区才发现canal1.1.4只支持6.x，7.x需要修改代码重新编译才能支持

3.ES同步规则文件名问题

文件名必须以以.yml结尾，否则配置不生效

4.修改adapter配置问题

默认情况下，当修改完deploy、adapter配置后会自动加载配置，日志中也可以看到加载成功，但是实际并不会生效，需要重启deploy或adapter

5.destination黑名单问题

测试时设置的黑名单参数canal.instance.filter.black.regex=.\..。导致所有的库表都被过滤，所以adapter订阅不到任何数据，但是binlog日志位点仍然在改变，设置为canal.instance.filter.black.regex=即可解决

6.增量同步的记录中缺少id字段

增量同步的记录中缺少id字段，原因是adapter同步规则中select语句未加id字段导致

7.ES中的_id问题

sql语句部分，指定对应库表id为ES中的_id，否则会报错。pk字段设置后不生效

8.其他

1.所有配置一切正常，但仍然同步失败，删除表后重建表再重新同步成功（原因未查明）

这篇关于Canal同步MySQL数据至ES问题总结的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！