diff --git "a/Test_Result/openGauss_7.0.0_RC1/\345\206\205\346\240\270/HTAP\350\241\214\345\210\227\350\236\215\345\220\210.md" "b/Test_Result/openGauss_7.0.0_RC1/\345\206\205\346\240\270/HTAP\350\241\214\345\210\227\350\236\215\345\220\210.md" index 5286a94194e69410e9e608dac3910be1a31e4691..51357b5199ef5bbbcffafcdc8b0c8af24bd7936d 100644 --- "a/Test_Result/openGauss_7.0.0_RC1/\345\206\205\346\240\270/HTAP\350\241\214\345\210\227\350\236\215\345\220\210.md" +++ "b/Test_Result/openGauss_7.0.0_RC1/\345\206\205\346\240\270/HTAP\350\241\214\345\210\227\350\236\215\345\220\210.md" @@ -22,7 +22,7 @@ # 1 概述 -本报告主要测试2种不同架构（单机、主备集群）下，HTAP行列融合的功能测试、可靠性测试、兼容性测试和性能测试。 +本报告主要测试单机和主备集群场景下，HTAP行列融合的功能测试、可靠性测试、性能测试、兼容性测试和资料测试。 # 2 测试版本说明 @@ -30,10 +30,13 @@ ### 2.1.1 被测版本 -| 版本名称 | 软件包名称 | 测试起始时间 | 测试结束时间 | 测试人员 | -| ----------------------------------- | ---------- | ------------ | ------------ | -------- | -| openGauss 7.0.0-RC1 build eb367cc7 | openGauss | 2024-12-26 | 2024-12-30 | haomeng | -| openGauss 7.0.0-RC1 build 1d325dd9 | openGauss | 2024-12-30 | 2025-1-6 | haomeng | +| 版本名称 | 软件包名称 | 测试起始时间 | 测试结束时间 | 测试人员 | +| ---------------------------------- | ---------- | ------------ | ------------ | -------- | +| openGauss 7.0.0-RC1 build 3dafabf6 | openGauss | 2024-11-7 | 2024-11-28 | ningyali | +| openGauss 7.0.0-RC1 build 5baeba20 | openGauss | 2024-11-28 | 2025-1-9 | ningyali | +| openGauss 7.0.0-RC1 build 8c7a615a | openGauss | 2025-1-9 | 2025-2-7 | ningyali | +| openGauss 7.0.0-RC1 build 445855a8 | openGauss | 2025-2-7 | 2025-2-27 | ningyali | +| openGauss 7.0.0-RC1 build eb295a12 | openGauss | 2025-2-27 | 2025-3-7 | ningyali | ## 2.2 测试环境描述 @@ -46,7 +49,7 @@ # 3 版本概要测试结论、关键风险和规避措施 -本报告主要测试传统集群&单机行列融合功能，主要包含功能场景测试、可靠性场景测试、兼容性场景测试、性能场景测试，输出测试用例402个，执行测试1轮，发现issue共22个，所有问题已修复并回归通过，整体质量良好。 +本报告主要测试单机&主备集群行列融合功能，主要包含功能场景测试、可靠性场景测试、兼容性场景测试、性能场景测试，输出测试用例402个，执行测试2轮，发现issue共26个，所有问题已修复并回归通过，整体质量良好。 ## 3.1 特性约束 @@ -80,56 +83,81 @@ ### 4.2.1 性能测试结论 -无 +#### 4.2.1.1 TPCH -### 4.2.2 功能测试结论 +参数配置： -分别针对两种单机和主备集群不同架构下，进行新增imcs相关参数的功能和参数取值验证，HTAP行列融合功能验证，以及可靠性验证、兼容性验证、性能验证，验收通过。 +​ 单机：max_process_memory=350GB、shared_buffers=150GB、max_imcs_cache=150GB、work_mem=5GB、query_dop=4 -| 测试步骤 | 测试结果 | -| ------------------------------------------------------------ | -------------------------------------------------- | -| enable_imcsscan、enable_parallel_populate、max_imcs_cache参数值验证 | 取值与资料描述保持一致，可正常设置 | -| HTAP行列融合功能验证 | 符合约束时，可正常进行转换，不符合约束时有合理报错 | -| 单机&主备集群，分别验证转换前故障、转换过程中故障、转换后故障 | 故障时合理报错，故障清除后可正常 | -| 资源池化模式下，开启enable_cbm_tracking，运行跑批业务，进行定时全量&增量备份 | 业务运行正常，备份正常 | -| cbm相关DFX函数 | 执行正常 | +​ 主备：shared_buffers=150GB、max_imcs_cache=150GB、work_mem=5GB、query_dop=4 -### 4.2.3 安全&隐私保护测试结论 +测试结论： -无 +​ 22条TPC-H语句100G数据进行性能测试，通过单节点、主备机分别执行22条TPC-H SQL语句，对比行列转换前行存查询耗时和行列转换后行列混合查询耗时，测试结果为单机场景下性能提升5.09倍，主备场景下性能提升5.31倍，满足性能提升5倍的基准要求。 -### 4.2.4 可服务性测试结论 +#### 4.2.1.2 TPCC测试结论 -无 +参数配置： + +​ 单机：max_process_memory=400GB、shared_buffers=50GB、max_imcs_cache=150GB、update_lockwait_timeout=60min、lockwait_timeout=60min + +​ 主备：max_process_memory=400GB、shared_buffers=50GB、max_imcs_cache=150GB、update_lockwait_timeout=60min、lockwait_timeout=60min + +测试结论： + +​ 进行TPC-C性能测试，经验证2p主机读写备机只读场景数据一致性校验通过，单机场景下性能差异X，主备场景下性能差异，满足性能差异小于10%的基准要求。 -### 4.2.5 生命周期管理测试结论 +### 4.2.3 可靠性测试结论 + +针对单节点和主备集群，分别进行故障场景验证和故障恢复功能验证，验收通过。 + +| 测试步骤 | 测试结果 | +| ------------------------------------------------------------ | ------------------------------------------------------ | +| 单机场景，行列转换过程中节点异常 | 故障不会导致数据库宕机，故障恢复后可正常转换，数据一致 | +| 主备场景，行列转换过程中节点异常，主备切换，备机重建，备升主 | 故障不会导致集群宕机，故障恢复后可正常转换，数据一致 | +| 行列转换生成的临时文件异常 | 故障不会导致数据库宕机，故障恢复后可正常转换，数据一致 | +| 磁盘满时进行行列转换 | 故障不会导致数据库宕机，故障恢复后可正常转换，数据一致 | +| 主备网络异常时进行行列转换或查询列存数据 | 故障不会导致数据库宕机，故障恢复后可正常转换，数据一致 | +| 一主两备缩容成一主一备、单节点，进行行列转换 | 故障不影响行列转换功能，已经转换的数据可取消重新转换 | +| 单节点扩容成一主一备、一主两备，进行行列转换 | 故障不影响行列转换功能，已经转换的数据可取消重新转换 | + +### 4.2.4 安全&隐私保护测试结论 无 -### 4.2.6 韧性测试结论 +### 4.2.5 可服务性测试结论 无 -### 4.2.7 兼容性测试结论 +### 4.2.6 生命周期管理测试结论 无 -### 4.2.8 升级测试结论 +### 4.2.7 韧性测试结论 无 +### 4.2.8 兼容性测试结论 + +| 测试步骤 | 测试结果 | +| ------------------------------------------------------------ | -------- | +| 6.0.0升级到7.0.0，验证新增GUC参数无误，行列转换功能正常 | 验收通过 | +| 6.0.0升级到7.0.0，升级回滚再升级，验证7.0.0版本新增GUC参数无误，行列转换功能正常，升级回滚后6.0.0版本无新增GUC参数和行列转换功能 | 验收通过 | + ## 4.3 资料测试结论 | 序号 | 测试章节 | 测试结论 | | ---- | ------------------------------------------------------------ | -------- | -| 1 | [cbm_xlog_files_epoch](https://docs.opengauss.org/zh/docs/latest/docs/DatabaseReference/%E5%A4%87%E4%BB%BD%E6%81%A2%E5%A4%8D.html#cbm_xlog_files_epocha-namesection1232751104711a) | 测试通过 | -| 2 | [cbm_threads_num](https://docs.opengauss.org/zh/docs/latest/docs/DatabaseReference/%E5%A4%87%E4%BB%BD%E6%81%A2%E5%A4%8D.html#cbm_xlog_files_epocha-namesection1232751104711a) | 测试通过 | +| 1 | [HTAP行列融合](https://docs.opengauss.org/zh/docs/latest/docs/AboutopenGauss/%E8%A1%8C%E5%88%97%E8%9E%8D%E5%90%88.html) | 测试通过 | +| 2 | [行列融合参数](https://docs.opengauss.org/zh/docs/latest/docs/DatabaseReference/%E8%A1%8C%E5%88%97%E8%9E%8D%E5%90%88%E5%8F%82%E6%95%B0.html) | 测试通过 | +| 3 | [HTAP行列融合系统函数](https://docs.opengauss.org/zh/docs/latest/docs/SQLReference/HTAP%E8%A1%8C%E5%88%97%E8%9E%8D%E5%90%88%E7%B3%BB%E7%BB%9F%E5%87%BD%E6%95%B0.html) | 测试通过 | +| 4 | [GS_TOTAL_MEMORY_DETAIL](https://docs.opengauss.org/zh/docs/latest/docs/DatabaseReference/GS_TOTAL_MEMORY_DETAIL.html) | 测试通过 | # 5 测试对象质量评估 ## 5.1 覆盖率分析 -已覆盖传统集群和资源池化集群2种架构模式下，开启cbm功能之后全量/增量备份测试以及大批量业务下xlog回收验证测试。 +覆盖单机和主备场景下，表类型、数据类型、存储过程、函数、触发器、多表连接查询等，结合行列转换功能验证测试。 ## 5.2 缺陷统计和分析 @@ -137,15 +165,39 @@ | | 问题总数 | 严重 | 主要 | 次要 | 不重要 | | ------ | -------- | ---- | ---- | ---- | ------ | -| 数目 | 2 | 0 | 0 | 2 | 0 | -| 百分比 | 100% | 0% | 0% | 100% | 0% | +| 数目 | 26 | 0 | 2 | 20 | 4 | +| 百分比 | 100% | 0% | 8% | 77% | 15% | ### 5.2.2 缺陷列表 | 问题单号 | 问题描述 | 问题级别 | 当前状态 | | ------------------------------------------------------------ | ------------------------------------------------------------ | -------- | -------- | -| [IBE11G](https://e.gitee.com/opengaussorg/issues/table?issue=IBE11G) | 【CBM tracking LSN】cbm_xlog_files_epoch参数，不同设置方式下有效值范围提示不一致 | 次要 | 已验收 | -| [IBEKSD](https://e.gitee.com/opengaussorg/issues/table?issue=IBEKSD) | 【CBM tracking LSN】增量备份因invalid CBM page header偶现失败 | 次要 | 已验收 | +| [IBJJ2Q](https://e.gitee.com/opengaussorg/issues/table?issue=IBJJ2Q) | 【测试类型：SQL功能】【测试版本：7.0.0】【HTAP行列融合】空表行列转换后插入大量数据，备机列存查询hang住 | 主要 | 已验收 | +| [IB89EK](https://e.gitee.com/opengaussorg/issues/table?issue=IB89EK) | 【测试类型：SQL功能】【测试版本：7.0.0】 【HTAP行列融合】配置参数support_extended_features后，行列转换后修改压缩策略后，备机查询hang住 | 主要 | 已验收 | +| [IBNTMR](https://e.gitee.com/opengaussorg/issues/table?issue=IBNTMR) | 【测试类型：SQL功能】【测试版本：7.0.0-RC1】 【HTAP行列融合】行列转换后，增删大量数据，gs_total_memory_detail和query_imcstore_views视图中已使用内存字段无变化 | 次要 | 待办的 | +| [IBLLLP](https://e.gitee.com/opengaussorg/issues/table?issue=IBLLLP) | 【测试类型：SQL功能】【测试版本：7.0.0-RC1】【HTAP行列融合】 兼容B库下进行指定分区转换后select count(*)查询计划不走imcs scan | 次要 | 已验收 | +| [IBKU42](https://e.gitee.com/opengaussorg/issues/table?issue=IBKU42) | 【测试类型：SQL功能】【测试版本：7.0.0-RC1】【HTAP行列融合】 主备场景下999个分区进行指定分区转换耗时过久 | 次要 | 已完成 | +| [IBJ8P9](https://e.gitee.com/opengaussorg/issues/table?issue=IBJ8P9) | 【测试类型：SQL功能】【测试版本：7.0.0】【HTAP行列融合】 数据库下存在行列转换数据时删除数据库报错 | 次要 | 已验收 | +| [IBCPQI](https://e.gitee.com/opengaussorg/issues/table?issue=IBCPQI) | 【测试类型：SQL功能】【测试版本：7.0.0】 【HTAP行列融合】配置了enable_imcsscan为on，select count(*)查询计划未走imcs scan | 次要 | 已验收 | +| [IBADTT](https://e.gitee.com/opengaussorg/issues/table?issue=IBADTT) | 【测试类型：SQL功能】【测试版本：7.0.0】【HTAP行列融合】变长类型如nvachar/nvarchar2指定较小长度时转换报错 | 次要 | 已验收 | +| [IBA72A](https://e.gitee.com/opengaussorg/issues/table?issue=IBA72A) | 【测试类型：SQL功能】【测试版本：7.0.0】【HTAP行列融合】A库中转换关系清除后切换B库进行行列转换报错 | 次要 | 已验收 | +| [IB9K79](https://e.gitee.com/opengaussorg/issues/table?issue=IB9K79) | 【测试类型：SQL功能】【测试版本：7.0.0】【HTAP行列融合】分区表删除后系统视图query_imcstore_views中相关数据未清除 | 次要 | 已验收 | +| [IB6B45](https://e.gitee.com/opengaussorg/issues/table?issue=IB6B45) | 【测试类型：SQL功能】【测试版本：7.0.0】【HTAP行列融合】 表中含hll/cidr/inet类型进行全表转换报错 | 次要 | 已验收 | +| [IB2EIV](https://e.gitee.com/opengaussorg/issues/table?issue=IB2EIV) | 【测试类型：SQL功能】【测试版本：7.0.0】 【HTAP行列融合】高概率偶现主备场景全表转换时报错 | 次要 | 已验收 | +| [IB47TY](https://e.gitee.com/opengaussorg/issues/table?issue=IB47TY) | 【测试类型：SQL功能】【测试版本：7.0.0】【HTAP行列融合】对toast表进行行列转换应合理报错 | 次要 | 已验收 | +| [IBQDOJ](https://e.gitee.com/opengaussorg/issues/table?issue=IBQDOJ) | 【测试类型：SQL功能】【测试版本：7.0.0-RC1】 【HTAP行列融合】数据库不存在行列转换数据时删除不应有相关提示 | 不重要 | 待办的 | +| [IBR3QU](https://e.gitee.com/opengaussorg/issues/table?issue=IBR3QU) | 【测试类型：可靠性】【测试版本：7.0.0-RC1】【HTAP行列融合】单机场景，恢复移走的imcu文件，查询hang | 次要 | 待回归 | +| [IBP6KD](https://e.gitee.com/opengaussorg/issues/table?issue=IBP6KD) | 【测试类型：可靠性】【测试版本：7.0.0-RC1】 【HTAP行列融合】主备场景，磁盘满行列转换报错，清理磁盘后取消转换再转换报错 | 次要 | 修复中 | +| [IBOBAV](https://e.gitee.com/opengaussorg/issues/table?issue=IBOBAV) | 【测试类型：可靠性】【测试版本：7.0.0-RC1】【HTAP行列融合】主备场景，删除行列转换生成的临时文件后，取消转换再转换偶现hang住 | 次要 | 修复中 | +| [IBN4PI](https://e.gitee.com/opengaussorg/issues/table?issue=IBN4PI) | 【测试类型：可靠性】【测试版本：7.0.0-RC1】【HTAP行列融合】 主备切换后，执行行列转换，再主备切换还原主备，取消转换再次转换报错 | 次要 | 修复中 | +| [IBMY8K](https://e.gitee.com/opengaussorg/issues/table?issue=IBMY8K) | 【测试类型：可靠性】【测试版本：7.0.0-RC1】 【HTAP行列融合】行列转换过程中备2转变成备1的级联备，转换失败后，取消转换再次转换报错 | 次要 | 已验收 | +| [IBMXZ0](https://e.gitee.com/opengaussorg/issues/table?issue=IBMXZ0) | 【测试类型：可靠性】【测试版本：7.0.0-RC1】【HTAP行列融合】 一主两备集群，备1异常时行列转换报错 | 次要 | 已验收 | +| [IBM3W5](https://e.gitee.com/opengaussorg/issues/table?issue=IBM3W5) | 【测试类型：可靠性】【测试版本：7.0.0-RC1】【HTAP行列融合】主备场景，行列转换过程中备节点shutdown，主节点无响应 | 次要 | 已验收 | +| [IBQLIO](https://e.gitee.com/opengaussorg/issues/table?issue=IBQLIO) | 【测试类型：性能】【测试版本：7.0.0-RC1】【HTAP行列融合】benchmark连接主节点执行过程中，guc设置enable_imcsscan备机core | 次要 | 待办的 | +| [IBR8CW](https://e.gitee.com/opengaussorg/issues/table?issue=IBR8CW) | 【测试类型：性能】【测试版本：7.0.0-RC1】【HTAP行列融合】 行列转换后，开启enable_imcsscan，一致性检查返回不为空 | 次要 | 待办的 | +| [IB2CLH](https://e.gitee.com/opengaussorg/issues/table?issue=IB2CLH) | 【测试类型：资料】【测试版本：7.0.0】 【HTAP行列融合】资料未说明远程连接时pg_hba.conf中需将主备节点认证方式配置为trust | 不重要 | 已验收 | +| [IBADDH](https://e.gitee.com/opengaussorg/issues/table?issue=IBADDH) | 【测试类型：资料】【测试版本：7.0.0】【HTAP行列融合】左侧导航栏无HTAP行列融合 | 不重要 | 已验收 | +| [IBCPVR](https://e.gitee.com/opengaussorg/issues/table?issue=IBCPVR) | 【测试类型：资料】【测试版本：7.0.0】【HTAP行列融合】资料中约束未说明不支持vacuum full操作，支持其他vacuum操作 | 不重要 | 已验收 | # 6 测试过程评估 @@ -153,8 +205,10 @@ | 编号 | 特性 | 验证策略 | 是否按照测试策略执行 | | ---- | ---------- | ------------------------------------------------------------ | -------------------- | -| 1 | 功能测试 | cbm参数功能，参数设置方式，参数取值范围验证，DFX函数功能验证 | YES | -| 2 | 稳定性测试 | 执行tpcc业务，7*24H，开启定时全量&增量备份任务 | YES | +| 1 | 功能测试 | 单机&主备场景，验证新增GUC参数，所有支持表/数据类型及相关业务 | YES | +| 2 | 可靠性测试 | 单机&主备场景，验证故障过程中数据库不会宕机，故障恢复数据库可恢复功能 | YES | +| 3 | 性能测试 | 单机&主备场景，TPC-C测试验证数据一致性且性能差异小于10%，TPC-H测试验证性能提升5倍 | YES | +| 4 | 兼容性测试 | 升级，升级回退，升级回退再升级，验证新版本行列转换功能正常，旧版本无相关参数和功能 | YES | ## 6.2 测试设计评估 @@ -164,21 +218,27 @@ ### 6.3.1 测试执行统计数据 -| 版本名称 | 工作量投入(人天) | 测试用例数 | 用例执行数 | 发现缺陷数 | 代码量 | 缺陷密度 | -| ------------------------ | ---------------- | ---------- | ---------- | ---------- | ------ | -------- | -| openGauss 7.0.0-RC1 B010 | 4 | 12 | 12 | 1 | 0.956K | 1 | -| openGauss 7.0.0-RC1 B011 | 5 | 8 | 8 | 1 | 0.956K | 1 | +| 版本名称 | | 工作量投入(人天) | 测试用例数 | 用例执行数 | 发现缺陷数 | 代码量 | 缺陷密度 | +| ------------------------ | ----- | ---------------- | ---------- | ---------- | ---------- | ------ | -------- | +| openGauss 7.0.0-RC1 B002 | 10.31 | 18 | 80 | 80 | 4 | 7.672K | | +| openGauss 7.0.0-RC1 B006 | 11.28 | 18 | 80 | 80 | 7 | 7.672K | | +| openGauss 7.0.0-RC1 B011 | 1.9 | 15 | 80 | 80 | 2 | 7.672K | | +| openGauss 7.0.0-RC1 B014 | 2.7 | 18 | 80 | 80 | 9 | 7.672K | | +| openGauss 7.0.0-RC1 B017 | 2.27 | 7 | 82 | 82 | 4 | 7.672K | | -本次测试共发现2个issue，部分已修复并回归通过，缺陷密度为2/1.292k=1.5，整体质量良好。 +本次测试共发现26个issue，部分已修复并回归通过，缺陷密度为26/7.672k=3.4，整体质量良好。 ### 6.3.2 测试用例执行结果统计数据 | 总测试用例数 | 实际测试的用例数 | Passed | Failed | Blocked | Unavailable | 执行率 | 执行通过率 | | ------------ | ---------------- | ------ | ------ | ------- | ----------- | ------ | ---------- | -| 12 | 12 | 11 | 1 | 0 | 0 | 100% | 91.7% | -| 8 | 8 | 6 | 2 | 0 | 0 | 100% | 75% | +| 402 | 80 | 76 | 4 | 0 | 0 | 100% | 95% | +| 402 | 80 | 73 | 7 | 0 | 0 | 100% | 91% | +| 402 | 80 | 78 | 2 | 0 | 0 | 100% | 97.5% | +| 402 | 80 | 71 | 9 | 0 | 0 | 100% | 89% | +| 402 | 82 | 78 | 4 | 0 | 0 | 100% | 97% | -本次测试共输出测试用例20个，执行测试共2轮，发现issue共2个，所有问题已修复并回归通过，整体质量良好。 +本次测试共输出测试用例402个，执行测试共2轮，发现issue共26个，所有问题已修复并回归通过，整体质量良好。 # 7 附件 @@ -190,19 +250,21 @@ 特性代码pr： -https://gitee.com/opengauss/openGauss-server/pulls/6837 +https://gitee.com/opengauss/openGauss-server/pulls/6565 + +https://gitee.com/opengauss/openGauss-server/pulls/6834 资料pr： -https://gitee.com/opengauss/docs/pulls/7084 +https://gitee.com/opengauss/docs/pulls/6910 测试设计： -https://devcloud.cn-east-3.huaweicloud.com/testmind/project/03669bfd256c444bbfda6d7fb8b83bb2/testmind/mindmap?mindId=bf38bc61406d4b4d87b58366d8a0444e&hideDevcloudHead=true +https://devcloud.cn-east-3.huaweicloud.com/testmind/project/03669bfd256c444bbfda6d7fb8b83bb2/testmind/mindmap?mindId=a3dc7428798c48f98b4d3f215e2ec46b&hideDevcloudHead=true 测试用例： -testplan _ openGauss_7.0.0 _ 数据库服务 _ CBM Tracking +testplan _ openGauss_7.0.0 _ 数据库服务 _ HTAP行列融合 -https://devcloud.cn-east-3.huaweicloud.com/cloudtestportal/project/03669bfd256c444bbfda6d7fb8b83bb2/testcase?branch_id=vb100000vvqelovg&case_id=vb1n000103m5iuh0&detail=base +https://devcloud.cn-east-3.huaweicloud.com/cloudtestportal/project/03669bfd256c444bbfda6d7fb8b83bb2/testcase?branch_id=vb100000vvqelovg