同步操作将从 budo-group/budo-warehouse 强制同步,此操作会覆盖自 Fork 仓库以来所做的任何修改,且无法恢复!!!
确定后同步将在后台操作,完成时将刷新页面,请耐心等待。
基于Binlog等技术的数据同步工具,类似otter,and,more
数据入口支持 Binlog MQ/Kafka 接口调用(Dubbo/HTTP)
数据出口支持 ElasticSearch/Solr/Mongo/CVS文件/Hive/HBase MQ/Kafka 接口调用(Dubbo/HTTP) 邮件(发送变更告警)
支持所有入口出口的动态搭配,级联串联;例如 Binlog > Kafka > ElasticSearch
支持根据表和类型筛选部分变更事件;只同步新增,不同步删除
支持异结构数据同步(增加一个列或处理列的值)
// 数据端点(入口或出口)
class DataNode {
// jdbc:mysql://127.0.0.1
// async:activemq://127.0.0.1:61616
private String url;
private String username;
private String password;
}
// 传输通道
class Pipeline {
// 动态筛选事件(SPEL表达式)
// #{ isDDL || isDML }
private String eventFilter;
// 数据入口
private Integer sourceDataNodeId;
private String sourceSchema;
private String sourceTable;
// 数据出口
private Integer targetDataNodeId;
private String targetSchema;
private String targetTable;
}
需要使用Maven私服
<repository>
<id>budo-snapshot-repository</id>
<url>https://repo.rdc.aliyun.com/repository/1726-snapshot-ZLxSbx/</url>
</repository>
MySQL 的 Binlog 日志处理工具(Canal,Maxwell,Databus,DTS)对比
通过Interface收发MQ消息 budo-dubbo-protocol-async
budo-elasticsearch-jdbc-driver
https://github.com/alibaba/MongoShake
https://github.com/alibaba/RedisShake
+2
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。