1 Star 0 Fork 34

梧桐 / budo-warehouse

forked from budo-group / budo-warehouse 
加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
克隆/下载
贡献代码
同步代码
取消
提示: 由于 Git 不支持空文件夾,创建文件夹后会生成空的 .keep 文件
Loading...
README

budo-warehouse @2021

基于Binlog等技术的数据同步工具,类似otter,and,more

功能特性

  1. 数据入口支持 Binlog MQ/Kafka 接口调用(Dubbo/HTTP)

  2. 数据出口支持 ElasticSearch/Solr/Mongo/CVS文件/Hive/HBase MQ/Kafka 接口调用(Dubbo/HTTP) 邮件(发送变更告警)

  3. 支持所有入口出口的动态搭配,级联串联;例如 Binlog > Kafka > ElasticSearch

  4. 支持根据表和类型筛选部分变更事件;只同步新增,不同步删除

  5. 支持异结构数据同步(增加一个列或处理列的值)

核心配置

// 数据端点(入口或出口)
class DataNode {
    // jdbc:mysql://127.0.0.1 
    // async:activemq://127.0.0.1:61616
    private String url;

    private String username;

    private String password;
}

// 传输通道
class Pipeline {
    // 动态筛选事件(SPEL表达式) 
    // #{ isDDL || isDML }
    private String eventFilter;

    // 数据入口
    private Integer sourceDataNodeId;

    private String sourceSchema;

    private String sourceTable;

    // 数据出口
    private Integer targetDataNodeId;

    private String targetSchema;

    private String targetTable;
}

代码导读

CODE-GUIDE.md

构建

需要使用Maven私服

<repository>
    <id>budo-snapshot-repository</id>
    <url>https://repo.rdc.aliyun.com/repository/1726-snapshot-ZLxSbx/</url>
</repository>

启动

budo-warehouse-web-launcher

参考资料

MySQL 的 Binlog 日志处理工具(Canal,Maxwell,Databus,DTS)对比

Mysql Binlog

Redis AOF

DataX

Otter双向回环控制

Oracle 物化视图

通过Interface收发MQ消息 budo-dubbo-protocol-async

budo-csv-jdbc-driver

budo-elasticsearch-jdbc-driver

budo-hbase-jdbc-driver

budo-solr-jdbc-driver

budo-mongo-jdbc-driver

https://github.com/alibaba/MongoShake

https://github.com/alibaba/RedisShake

+2

空文件

简介

基于Binlog等技术的数据同步工具,类似otter,and,more 展开 收起
Java
取消

发行版

暂无发行版

贡献者

全部

近期动态

加载更多
不能加载更多了
Java
1
https://gitee.com/abao365_admin/budo-warehouse.git
git@gitee.com:abao365_admin/budo-warehouse.git
abao365_admin
budo-warehouse
budo-warehouse
master

搜索帮助

14c37bed 8189591 565d56ea 8189591