代码拉取完成,页面将自动刷新
scan.incremental.close-idle-reader.enabled
和 scan.incremental.snapshot.backfill.skip
参数支持;scan.incremental.snapshot.chunk.key-column
、scan.incremental.close-idle-reader.enabled
和 scan.incremental.snapshot.backfill.skip
参数支持;产品 | 适配版本 |
---|---|
mysql-postgres | 2.2+ |
oracle-cdc | 2.3+ |
产品 | 适配版本 |
---|---|
mysql-cdc | 2.2+ |
sqlserver-cdc | 2.4+ |
<jdbc>
的查询支持,并优化 JDBC 驱动注册方式;rest.addresses
或者rest.address
配置作业提交的主机地址。<jdbc>
支持StarRocks flink connector的jdbc-url
作为自动数据源的地址;jdbc.default_method
配置指定默认执行的JDBC方法。executeLargeUpdate
改为executeUpdate
(由于很多数据库连接池或者JDBC驱动未实现executeLargeUpdate
方法),但支持用户使用jdbc.default_method
配置指定。when
属性配置执行条件,执行条件采用JavaScript引擎实现,使用JavaScript语法;<data-sync>
标签内部增加<complex-column>
标签,用于配置复杂数据类型,如MAP<STRING,STRING>
;<jdbc>
标签执行JDBC支持使用数据库连接池;<jdbc>
标签执行JDBC支持查询单个对象(method="get"
)和对象列表(method="select"
)。对象的类型可通过resultClass
属性配置,默认为java.util.HashMap
;修复<execute-sql>
不指定dataSource
时,SQL中无法使用参数的问题
1、增加metadata.starrocks.catalog_as_schema
配置(默认为true),以规避StarRocks适配 MySQL JDBC驱动存在错误的问题。
2、fastjson 升级至2.0.8
metadata.starrocks.unique_key_as_primary_key
配置(默认值为true
),用于指示是否将获取的StarRocks元数据中的更新模型的UNIQUE KEY
列作为主键PRIMARY KEY
,以便自动生成的表(Source/Sink Table)含有主键信息,使得对应的Flink同步(或者写入)任务能够支持安全停止(stopWithSavePoint
);data.sync.metadata.getter.*
配置改为metadata.getter.*
。CreateTable
;<create-table>
与flink-jobs-core的CreateTable
适配;flink.jobs.smart
配置替代原来的data.sync.smart
。table-name
配置;