44 Star 319 Fork 148

tenmg / Clink

2024-04-29 18:59
7920102 tenmg 1616488730 tenmg

修复问题:

  • 修复当对象映射为java.util.Date类型时 JDBC 查询得到结果只有日期部分的问题;

优化改进:

  • 多表数据同步增加新的参数支持(参数含义详见 Flink CDC 官方文档)
    • clink-cdc-mysql 增加 scan.incremental.close-idle-reader.enabledscan.incremental.snapshot.backfill.skip 参数支持;
    • clink-cdc-sqlserver 增加 scan.incremental.snapshot.chunk.key-columnscan.incremental.close-idle-reader.enabledscan.incremental.snapshot.backfill.skip 参数支持;
  • 增加了 clink-cdc-postgres、clink-cdc-oracle 模块,分别支持以下源连接器的单作业多表数据同步:
产品 适配版本
mysql-postgres 2.2+
oracle-cdc 2.3+
  • 升级依赖组件
最后提交信息为: 更新文档
2024-02-29 19:15
7920102 tenmg 1616488730 tenmg

修复问题:

  • 修复当对象映射为java.util.Date类型时JDBC查询得到结果只有日期部分的问题

优化改进:

  • 升级依赖组件
最后提交信息为: 1.5.7
2023-09-20 10:38
7920102 tenmg 1616488730 tenmg

新增特性:

  • 升级 dsl 至 1.4.1 后,SQL 中的宏支持两种代码执行引擎 JavaScript 和 Beanshell,默认为 JavaScript,如需调整需调整 dsl.properties 配置文件,详情参考 dsl 文档;
  • 升级 dsl 至 1.4.1 后,ObjectUtils 涉及的 JDK 废弃代码端进行了重构,可适应更高版本的 JDK ;
  • 增加了 clink-cdc-mysql、clink-cdc-sqlserver 模块,分别支持以下源连接器的多表数据同步:
产品 适配版本
mysql-cdc 2.2+
sqlserver-cdc 2.4+

优化改进:

  • 升级 dsl 至 1.4.1 后,修复“.”和“[]”参数访问符无法使用的问题。
最后提交信息为: update README.md.
2023-06-27 01:36
7920102 tenmg 1616488730 tenmg

新增特性:

  • 开始支持配置加载器扩展,并默认提供使用 Nacos 配置中心的配置加载器实现。

优化改进:

  • 升级dsl至1.3.4,修复未能正确识别多行注释结束符的问题;
  • 完善 <jdbc> 的查询支持,并优化 JDBC 驱动注册方式;
  • 增加自动生成数据源的缓存,避免每次执行都重新生成,提升运行效率。
最后提交信息为: update README.md.
2022-12-08 11:11
7920102 tenmg 1616488730 tenmg

优化改进:

  1. 修复在并行解析配置时,由于重用Unmarshaller带来的线程安全问题;
  2. 优化客户端代码。
2022-12-02 15:48
7920102 tenmg 1616488730 tenmg

优化改进:

  1. 优化客户端提交任务获取执行JAR和主类的优先顺序:配置JAR时,不使用flink.jobs.default.class配置作为主类;
  2. 优化元数据获取,程序入口,自动创建数据源日志等代码。
最后提交信息为: update README.md.
2022-12-01 09:55
7920102 tenmg 1616488730 tenmg

新增特性:

  • flink-jobs-clients支持并且优先使用rest.addresses或者rest.address配置作业提交的主机地址。

优化改进:

  • 优化任务中配置的加载,支持properties语法(暂不支持换行)。
2022-11-16 13:26
7920102 tenmg 1616488730 tenmg

新增特性:

  1. 增加SimpleFlinkJobsRunner,并增加默认flink-jobs程序入口FlinkJobsPortal。
  2. 的和标签支持DSL语法。
最后提交信息为: 的和标签支持DSL语法
2022-11-02 15:29
7920102 tenmg 1616488730 tenmg

优化改进:

  • 修复StandaloneRestClusterClient提交仅含bsh、jdbc任务异常的问题。
2022-11-02 09:55
7920102 tenmg 1616488730 tenmg

新增特性:

  1. 增加数据源过滤功能,让数据源一次配置多场景使用。
  2. 客户端实例化支持指定配置文件,不同实例可使用不同配置文件,可实现多集群提交任务。

优化改进:

  1. 修复普通flink jar无法通过StandaloneRestClusterClient提交的问题;
  2. 优化了客户端相关实现代码。
最后提交信息为: update README.md.
2022-10-20 15:30
7920102 tenmg 1616488730 tenmg

优化改进:

  1. <jdbc>支持StarRocks flink connector的jdbc-url作为自动数据源的地址;
  2. 支持flink-jobs-clients程序仅配置提交的主类而不一定要配置提交的JAR包;
  3. 优化部分代码。
2022-10-14 10:52
7920102 tenmg 1616488730 tenmg

优化改进:

  1. jdbc标签取消数据库连接池的支持,修复因此引起的反复初始化连接池且不释放导致连接占满的问题;
  2. 修复StandaloneRestClusterClient提交任务后未正确释放资源(未调用packagedProgram.close())导致资源不释放的问题;
  3. 修复的resultClass属性不生效的问题;
  4. 优化部分代码
2022-10-08 18:00
7920102 tenmg 1616488730 tenmg

新增特性:

  • 可使用jdbc.default_method配置指定默认执行的JDBC方法。

优化改进:

  • 将默认执行的JDBC方法由executeLargeUpdate改为executeUpdate(由于很多数据库连接池或者JDBC驱动未实现executeLargeUpdate方法),但支持用户使用jdbc.default_method配置指定。
最后提交信息为: 调整执行的默认JDBC方法
2022-09-29 13:57
7920102 tenmg 1616488730 tenmg

新增特性:

  1. 所有标签支持使用when属性配置执行条件,执行条件采用JavaScript引擎实现,使用JavaScript语法;
  2. <data-sync>标签内部增加<complex-column>标签,用于配置复杂数据类型,如MAP<STRING,STRING>
  3. 使用<jdbc>标签执行JDBC支持使用数据库连接池;
  4. 使用<jdbc>标签执行JDBC支持查询单个对象(method="get")和对象列表(method="select")。对象的类型可通过resultClass属性配置,默认为java.util.HashMap
  5. 开始支持自动数据源,方便数据仓库(或数据湖)的建设。

优化改进:

  1. flink-jobs-config中,使用JAXB的接口解析XML时,改为单例模式;
  2. 数据源相关代码优化,并统一添加默认表名的入口。
  3. 对flink cdc支持更友好。
最后提交信息为: 修正注释
2022-08-03 11:10
7920102 tenmg 1616488730 tenmg

优化改进

修复<execute-sql>不指定dataSource时,SQL中无法使用参数的问题

最后提交信息为: 升级依赖的组件
2022-06-28 17:15
7920102 tenmg 1616488730 tenmg

优化改进

1、增加metadata.starrocks.catalog_as_schema配置(默认为true),以规避StarRocks适配 MySQL JDBC驱动存在错误的问题。
2、fastjson 升级至2.0.8

最后提交信息为: update README.md.
2022-06-27 18:57
7920102 tenmg 1616488730 tenmg

新增特性:

  • 增加metadata.starrocks.unique_key_as_primary_key配置(默认值为true),用于指示是否将获取的StarRocks元数据中的更新模型的UNIQUE KEY列作为主键PRIMARY KEY,以便自动生成的表(Source/Sink Table)含有主键信息,使得对应的Flink同步(或者写入)任务能够支持安全停止(stopWithSavePoint);

优化改进:

  • 将元数据获取器提升为顶层模块,将cn.tenmg.flink.jobs.operator.data.sync包移动至cn.tenmg.flink.jobs.metadata,并将data.sync.metadata.getter.*配置改为metadata.getter.*
最后提交信息为: update README.md.
2022-06-27 14:32
7920102 tenmg 1616488730 tenmg

问题修复:

  • 修复StandaloneRestClusterClient.stop因为兼容flink 1.15引入的反射执行方法导致无法正常停止作业的问题。
2022-06-27 14:07
7920102 tenmg 1616488730 tenmg

新增特性:

  1. flink升级至1.15.0;
  2. flink-jobs改为父项目,原flink-jobs改为flink-jobs-core模块;
  3. flink-jobs-core相较flink-jobs 1.2.*新增了快速建表功能CreateTable
  4. flink-jobs-clients新增<create-table>与flink-jobs-core的CreateTable适配;
  5. 由于智能模式适用场景的扩展,因此使用flink.jobs.smart配置替代原来的data.sync.smart

问题修复:

  1. 修复提交任务仅含bsh和jdbc时报错的问题;
  2. 修复一些其他已知问题。
最后提交信息为: 更新开发者
2022-05-15 10:21
7920102 tenmg 1616488730 tenmg
  1. 增加Flink SQL自动添加table-name配置;
  2. 优化Flink SQL关键词配置。
Java
1
https://gitee.com/tenmg/Clink.git
git@gitee.com:tenmg/Clink.git
tenmg
Clink
Clink

搜索帮助