23 Star 33 Fork 49

openGauss / debezium

 / 详情

【测试类型:工具功能】【测试版本:5.1.0】 问题描述:Debezium+kafka反向迁移,process.file.count.limit参数设置为异常值,如-1,source端启动报错且原来的迁移进度文件被删除

已验收
缺陷
创建于  
2023-06-07 10:52

【标题描述】:Debezium+kafka反向迁移,process.file.count.limit参数设置为异常值,如-1,source端启动报错且原来的迁移进度文件被删除
【测试类型:工具功能】【测试版本:5.1.0】 问题描述:Debezium+kafka反向迁移,process.file.count.limit参数设置为异常值,如-1,source端启动报错且原来的迁移进度文件被删除

【操作系统和硬件信息】(查询命令: cat /etc/system-release, uname -a):
CentOS Linux release 7.6.1908 (Core)
Linux kwephis1163085 3.10.0-1062.el7.x86_64 #1 SMP Wed Aug 7 18:08:02 UTC 2019 x86_64 x86_64 x86_64 GNU/Linux

【测试环境】(单机/1主x备x级联备):单机

【被测功能】:Debezium+kafka反向迁移

【测试类型】:工具功能

【数据库版本】(查询命令: gaussdb -V):
gaussdb (openGauss 5.1.0 build 68d1772f) compiled at 2023-05-24 00:09:56 commit 0 last mr

【预置条件】:
1.数据库状态正常,创建兼容B库和有逻辑复制权限的用户,配置pg_hba文件和wal_level = logical
2.反向迁移环境部署成功
(1)启动zookeeper
cd xxx/debezium_kafka/kafka_2.13-3.2.3
./bin/zookeeper-server-start.sh ./config/zookeeper.properties
(2)启动kafka
cd xxx/debezium_kafka/kafka_2.13-3.2.3
./bin/kafka-server-start.sh ./config/server.properties
(3)注册schema
cd xxx/debezium_kafka/confluent-5.5.1
schema-registry-start etc/schema-registry/schema-registry.properties

【操作步骤】(请填写详细的操作步骤):

  1. opengauss-source.properties配置文件中 process.file.count.limit 参数设置为1
process.file.count.limit=1
  1. 启动source端,source.process.file.path配置的路径下生成一个迁移进度文件
[zxh@kwemhisprc01300 opgs_1]$ ll
total 4
-rw-rw-r-- 1 zxh zxh 118 Jun  7 10:37 reverse-source-process-2023-06-07-10:36:54.txt

3.opengauss-source.properties配置文件中 process.file.count.limit 参数设置为-1

process.file.count.limit=-1

4.启动source端报错
输入图片说明
5.查看已有的迁移进度文件
【预期输出】:步骤4启动成功,但不上报迁移进度;步骤5已有迁移进度文件不会删除

【实际输出】:步骤4启动报错;步骤5已有迁移进度文件被删除
输入图片说明

【原因分析】:

  1. 这个问题的根因
  2. 问题推断过程
  3. 还有哪些原因可能造成类似现象
  4. 该问题是否有临时规避措施
  5. 问题解决方案
  6. 预计修复问题时间

【日志信息】(请附上日志文件、截图、coredump信息):

【测试代码】:

评论 (3)

zhanghuan96 创建了缺陷

Hey @zhanghuan96, Welcome to openGauss Community.
All of the projects in openGauss Community are maintained by @opengauss-bot.
That means the developers can comment below every pull request or issue to trigger Bot Commands.
Please follow instructions at Here to find the details.

Hi @zhanghuan96,
if you want to get quick review about your issue, please contact the owner in first: @douxin ,
and then any of the maintainers: @熊小军
and then any of the committers: @贺承汉 , @buter , @douxin , @周斌 , @pengjiong , @lizhenfeng
if you have any question, please contact the SIG: Tools.

opengauss-bot 添加了
 
sig/tools
标签
zhanghuan96 负责人设置为王正元
zhanghuan96 添加协作者周斌
zhanghuan96 优先级设置为次要
zhanghuan96 关联分支设置为master
zhanghuan96 修改了描述
王正元 任务状态待办的 修改为已确认
王正元 任务状态已确认 修改为修复中
王正元 通过opengauss/debezium Pull Request !109任务状态修复中 修改为已完成

验证通过:source端和sink端设置process.file.count.limit=-1,分别启动,启动成功,且已有迁移进度文件不超过限制仍然存在。
输入图片说明

zhanghuan96 任务状态已完成 修改为测试中
zhanghuan96 任务状态测试中 修改为已验收

登录 后才可以发表评论

状态
负责人
项目
里程碑
Pull Requests
关联的 Pull Requests 被合并后可能会关闭此 issue
分支
开始日期   -   截止日期
-
置顶选项
优先级
预计工期 (小时)
参与者(3)
5622128 opengauss bot 1581905080
1
https://gitee.com/opengauss/debezium.git
git@gitee.com:opengauss/debezium.git
opengauss
debezium
debezium

搜索帮助