398 Star 1.4K Fork 1.6K

GVPopenGauss / openGauss-server

 / 详情

【资源池化】资源池化模式,测试RTO,执行主dn二进制mv+kill pid ,测试rto时间偶现超过30秒,耗时60s

待办的
缺陷
创建于  
2023-08-15 22:46

【请认真填下以下信息,否则可能由于无法定位,导致issue无法解决而被取消】

【标题描述】:执行主dn二进制mv+kill pid ,测试rto时间偶现超过30秒
【测试类型:高可用】【测试版本:5.0.0】 执行主dn二进制mv+kill pid ,测试rto时间偶现超过30秒

【操作系统和硬件信息】(查询命令: cat /etc/system-release, uname -a):
输入图片说明
【测试环境】(单机/1主x备x级联备):
一主一备
【被测功能】:
rto
【测试类型】:

【数据库版本】(查询命令: gaussdb -V):
输入图片说明
【预置条件】:

【操作步骤】(请填写详细的操作步骤):
1输入图片说明
主机和备机分别执行如上脚本。
2.主dn 二进制文件mv+kill pid
输入图片说明
3.获取rto耗时。
【预期输出】:
预期耗时<30s
【实际输出】:
偶现rto耗时60s

【原因分析】:

  1. 这个问题的根因
  2. 问题推断过程
  3. 还有哪些原因可能造成类似现象
  4. 该问题是否有临时规避措施
  5. 问题解决方案
  6. 预计修复问题时间

【日志信息】(请附上日志文件、截图、coredump信息):

【测试代码】:

评论 (11)

qiuqp 创建了缺陷

Hey @qiuqp, Welcome to openGauss Community.
All of the projects in openGauss Community are maintained by @opengauss_bot.
That means the developers can comment below every pull request or issue to trigger Bot Commands.
Please follow instructions at Here to find the details.

Hi @qiuqp, please use the command /sig xxx to add a SIG label to this issue.
For example: /sig sqlengine or /sig storageengine or /sig om or /sig ai and so on.
You can find more SIG labels from Here.
If you have no idea about that, please contact with @xiangxinyong , @zhangxubo .

jiexiao1413 负责人设置为陈栋
jiexiao1413 优先级设置为不重要
  1. 需要获取一下对应时间DMS日志,看看是哪个流程耗时较长。
  2. 资源池化下备机不实时回放xlog,故障时候从主机redo点开始读取,因此需要关注一下主机刷盘,如果主机刷盘较慢,或checkpoint速度较慢,导致主机redo点一直不更新,xlog出现堆积,则回放时间较长。
  3. 恢复选用了哪种模式?如果是正常业务,以DML为主,建议选择社区最新特性“按需回放”;如果是issue中频繁建表删表的DDL为主,建议选择“极致RTO回放”

1.目前未添加业务,主备机执行了循环插入一条数据和查询操作。(目的为了验证备机升主后恢复提供写业务的时间)
2.参数是按照默认安装参数。

稍等,我尝试复现一下,获取一下dms日志。

备升主节点:DMS日志

主机mv +kill的故障时间是09:59:19秒左右.备机升主提供写业务的时间在10:00:21秒左右
输入图片说明
输入图片说明
输入图片说明
输入图片说明
输入图片说明
输入图片说明

陈栋 计划开始日期设置为2023-09-07
陈栋 计划截止日期设置为2023-09-13

dn日志:
10:13:25秒左右构造的主dn 二进制mv+ kill pid故障,触发切换,新主机大概在10:14:32秒左右恢复写业务
新主gaussdb日志:
输入图片说明
输入图片说明
输入图片说明
输入图片说明
输入图片说明
输入图片说明
输入图片说明

陈栋 添加协作者陈栋
陈栋 负责人陈栋 修改为董宁

第一轮在线failover因为业务线程无法退出,造成30s的耗时;
第二轮重启failover,因为重启造成有额外耗时

cchen676 修改了备注
cchen676 修改了备注
陈栋 修改了备注
qiuqp 修改了标题
陈栋 修改了备注
陈栋 计划截止日期2023-09-13 修改为2024-01-26

计划2024Q2实现,转需求处理。

熊小军 任务类型缺陷 修改为需求
熊小军 任务类型需求 修改为缺陷
陈栋 负责人董宁 修改为陈栋
陈栋 取消协作者陈栋

登录 后才可以发表评论

状态
负责人
项目
里程碑
Pull Requests
关联的 Pull Requests 被合并后可能会关闭此 issue
分支
开始日期   -   截止日期
-
置顶选项
优先级
预计工期 (小时)
参与者(6)
13084139 opengauss bot 1686829535
C++
1
https://gitee.com/opengauss/openGauss-server.git
git@gitee.com:opengauss/openGauss-server.git
opengauss
openGauss-server
openGauss-server

搜索帮助