354 Star 2.7K Fork 977

AE86/DBSyncer

2025-03-02 23:55
376718 ghi 1660456020 AE86

1、修复docker启动脚本参数
2、修复分页参数
3、修复dql查询语句, 主键顺序与表不一致会导致解析异常
4、修复批量删表关系,未更新总数
5、支持Oracle10G增量同步
6、支持MySQL索引同步, 支持批量新增/修改/删除字段,索引,唯一约束等
请参考标准类型:Standard DDL
7、支持mysql bit/bit1
8、支持timestamp转text
9、支持切标准数据解析器开关,支持geometry等几何类型,请参考标准类型:MySQL

10、优化MySQL解析ddl,出现重复映射关系
11、优化统计MySQL大表总数,改为系统表查询
12、默认禁用驱动DDL开关

最后提交信息为: !348升级版本
2025-01-17 23:00
无忌-Wu__Ji 无忌
最后提交信息为: !327merge
2024-10-19 00:31
376718 ghi 1660456020 AE86

1、修复全局插件参数未生效
2、修复oracle,char[]转number类型
3、修复oracle,NVARCHAR转译中文
4、修复docker启动脚本参数,导致无法启动
5、支持插件前置处理全量同步任务(可重写SPI接口方法,消费全量同步事件)

6、支持在线激活专业版,简化激活步骤

7、优化表选择器,支持筛选已添加的表

8、支持64位密码长度,移除密码回显

最后提交信息为: !284merge
2024-08-04 22:09
376718 ghi 1660456020 AE86
最后提交信息为: !267merge
2024-04-10 00:08
376718 ghi 1660456020 AE86
最后提交信息为: !229merge
2024-01-14 23:41
376718 ghi 1660456020 AE86
最后提交信息为: !216merge
2023-12-26 01:07
376718 ghi 1660456020 AE86

1、修复同步ddl, 增加字段顺序不一致
2、修复兼容ES6.x客户端API, 允许使用type=_doc类型
3、修复连接连接数过大问题
4、修复刷新点位到存储和数量显示
5、支持MySQL双向同步
6、支持Oracle基于logminer解析redo实现增量同步, 废弃dcn方案
7、支持sqlite
8、支持bit类型写file
9、支持刷新驱动数据表
10、支持mysql5.7 tinyint类型同步到postgresql11 int2类型
11、支持BigDecimal转varchar
12、新增同步数据开关到系统配置页面
13、新增sdk开发包(新版本插件SPI接口请替换为PluginService),参考 SPI接口说明
14、运行中的驱动,如果包含失败记录则发送通知
15、优化消费阻塞模型,改用无锁
16、优化连接&驱动间距

最后提交信息为: !207merge
2023-11-01 22:25
376718 ghi 1660456020 AE86
最后提交信息为: !191merge
2023-10-07 22:25
376718 ghi 1660456020 AE86
最后提交信息为: !176merge
2023-09-04 01:18
376718 ghi 1660456020 AE86
最后提交信息为: update README.md.
2023-08-06 21:59
376718 ghi 1660456020 AE86
最后提交信息为: !139merge
2023-03-15 00:01
376718 ghi 1660456020 AE86
最后提交信息为: !121支持复合主键
2022-11-20 22:45
376718 ghi 1660456020 AE86

1、修复DCN断线重连,连接超时问题
2、修复判断Oracle执行成功code -2
3、修复DCN查询监听表权限问题,替换DBA_OBJECTS为ALL_OBJECTS系统表
4、修复延迟同步未更新总数
5、支持配置多用户
6、支持过滤条件like查询(遵循sql语法规范)。示例:abc% %abc %abc%
7、支持扩展插件API,AbstractConvertContext类提供支持获取同步上下文,控制是否写入目标库任务,目标连接实例等
8、支持扩展插件后置处理方法,扩展postProcessAfter方法可监听同步完成事件
9、支持扩展插件消息通知接口NotifyService,在插件内实现该接口并注册服务即可
10、支持Oracle系统函数作为过滤条件, 系统函数:to_char/to_date/to_timestamp/to_number。 示例:to_date('2022-11-20','yyyy-mm-dd')
11、支持Oracle数据库自定义Schema
12、支持复制连接器,如需使用相似的连接器
13、支持增加同步失败发送邮件通知

#true启用邮件通知
dbsyncer.plugin.notify.mail.enabled=true
#配置你的发送邮箱
dbsyncer.plugin.notify.mail.username=123456@qq.com
#配置授权码(注意不是登录密码!!)
dbsyncer.plugin.notify.mail.password=rjphxxxxxxesbcdg

14、支持记录同步表信息,方便第三方用户做统计分析
15、支持BigInteger、LocalDateTime持久化
16、支持下载connector开发包,更新插件demo
17、优化并发性能,缓存队列数和持久化队列数保持一致, 去掉80%容量限制
18、优化批量读取磁盘binlog任务

最后提交信息为: !102merge
2022-10-01 00:19
376718 ghi 1660456020 AE86

1、修复表字段映射关系为空,空指针异常
2、修复PostgreSQL兼容低版本查询schema
3、修复SqlServer缺少依赖,导致无法获取空间类型
4、修复全量同步统计空表总数
5、修复全量同步统计总数存在误差,默认读取系统表总数,或在任务执行的过程中源库总数可能发生变化
6、修复查询视图VIEW总数
7、修复判断Oracle执行SQL成功标记(-2)
8、修复bit转int
9、修复binlog反序列化,优先记录增量数据
10、修复BinaryValueMapper二进制转换
11、修复BitValueMapper并发异常
12、支持DB跨schema转换,统一字段转换标准(基于JDBC标准数据类型进行扩展)
13、支持SqlServer同步oracle,转换空间Geometry类型
14、支持MySQL增量同步,解析json类型
15、支持字符转byte[]
16、支持字符串转Tinyint类型
17、支持字符转timestamp
18、支持date转换字符类型
19、支持short,boolean转类型
20、支持BigDecimal转Double类型
21、支持PostgreSQL游标查询,提升全量同步效率
22、支持控制写入增量数据开关

application.properties新增配置开关

#记录增量同步成功数据
dbsyncer.parser.flush.increment.data.write-success=true
#记录增量同步失败数据
dbsyncer.parser.flush.increment.data.write-fail=true

23、优化全量同步为覆盖写入
24、优化SqlServer增量同步性能,复用拉取LSN线程
25、优化值转换异常或为空时,设置二进制类型默认值
26、优化控制台打印和日志输出信息,数据脱敏
27、优化定时刷新驱动管理页面
28、优化上传文件大小限制
29、优化记录异常信息长度限制

最后提交信息为: !85merge
2022-08-19 00:54
376718 ghi 1660456020 AE86
最后提交信息为: !78upgrade version
2022-07-17 00:22
376718 ghi 1660456020 AE86
最后提交信息为: !67merge
2022-05-14 23:39
376718 ghi 1660456020 AE86
最后提交信息为: !63merge
2022-04-13 20:19
376718 ghi 1660456020 AE86
最后提交信息为: !58merge
2022-03-24 23:10
376718 ghi 1660456020 AE86

1、支持轻量级连接池,提高同步写入并发量
2、支持修改增量同步开始位置(MySQL)
3、支持MySQL类型bigint同步到Oracle类型number
4、支持Oracle clob写ES
5、支持启动脚本ipv4配置项
6、修复写入增量数据the index writer is closed
7、修复Oracle增量同步,过滤相同表名
8、简化驱动配置页面
9、弃用SqlServer增量同步停止默认会禁用表CDC功能

最后提交信息为: !54merge
2021-12-20 00:13
376718 ghi 1660456020 AE86
最后提交信息为: !51V_1.1.5
Java
1
https://gitee.com/ghi/dbsyncer.git
git@gitee.com:ghi/dbsyncer.git
ghi
dbsyncer
DBSyncer

搜索帮助

371d5123 14472233 46e8bd33 14472233