MySQL数据直接实时同步到ES
2021/8/28 19:06:33
本文主要是介绍MySQL数据直接实时同步到ES，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！
1.数据迁移同步工具选型
数据迁移同步工具的选择比较多样，下表仅从 MySQL 同步 ES 这个场景下，对一些笔者深度使用研究过的数据同步工具进行对比(不一定精确，如有错误请联系笔者更正)，用户可以根据自己的实际需要选取适合自己的产品。
|
特性\产品 |
Canal |
DTS |
CloudCanal |
|
是否支持自建ES |
是 |
否 |
是 |
|
ES对端版本支持丰富度 |
中
|
高
|
中
|
|
嵌套类型支持 |
join/nested/object |
object |
nested/object |
|
join支持方式 |
基于join父子文档&反查 |
无 |
基于宽表预构建&反查 |
|
是否支持结构迁移 |
否 |
是 |
是 |
|
是否支持全量迁移 |
是 |
是 |
是 |
|
是否支持增量迁移 |
是 |
是 |
是 |
|
数据过滤能力 |
中
|
高
|
高
|
|
是否支持时区转换 |
否 |
是 |
是 |
|
同步限流能力 |
无 |
有 |
有 |
|
任务编辑能力 |
无 |
有 |
无 |
|
数据源支持丰富度 |
中 |
高 |
中 |
|
架构模式 |
订阅消费模式
|
直连模式 |
直连模式 |
|
监控指标丰富度 |
中
|
中
|
高
|
|
报警能力 |
无 |
针对延迟、异常的电话报警 |
针对延迟、异常的钉钉、短信、邮件报警 |
|
任务可视化创建&配置&管理能力 |
无 |
有 |
有 |
|
是否开源 |
是 |
否 |
否 |
|
是否免费 |
是 |
否 |
是
|
|
是否支持独立输出 |
是 |
否
|
是 |
|
是否支持SAAS化使用 |
否 |
是 |
是 |
MySQL 到 ES 数据同步构建数据检索服务给中小企业带来了稳定且实用的在线数据方案，在满足业务诉求(高并发业务与企业级应用常态化)的同时 ，易上手且具备不错的可维护性，在适当的场景下，值得尝试和实践。
2.接下来主要讲解
|
Canal |
这篇关于MySQL数据直接实时同步到ES的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！
- 2024-06-25MySQL报错Duplicate entry '0' for key 'PRIMARY'
- 2024-05-29阿里 Canal 实时同步 MySQL 增量数据至 ClickHouse 数据库
- 2024-05-24在Linux下管理MySQL的大小写敏感性
- 2024-04-26MySQL查出时间比实际晚8小时的解决方案
- 2024-04-01JPA不识别MySQL的枚举类型
- 2024-03-30mysql数据库表卡死解决方法
- 2024-03-15MySQL多数据源笔记5-ShardingJDBC实战
- 2024-03-11natural join mysql
- 2024-03-11关于VS2017，VS2015 中利用 EF使用Mysql 不显示数据源问题解决方案
- 2024-02-26mysql 阿里云xb后缀备份文件恢复-icode9专业技术文章分享
