47 Star 44 Fork 280

openEuler/QA

 / 详情

在 openEuler 2309 RISC-V 的 mugen 测试中发现的测试用例本身问题请求用例修复

待办的
任务
创建于  
2023-11-17 12:21

我们整理了一下测试中 mugen 用例失败但是非软件包/镜像质量的问题,又在 openEuler 2203 LTS 和 openEuler 2309 x86_64 的镜像上进行了一些测试和验证工作,初步认为是测试用例问题的在 mugen 仓库提了一些 issue ,同时有 I89X70I8FPEI 两个 issue 关联了 pr

grep 相关问题

一些软件包由于版本更新,特定的输出文本已经改变,导致测试失败;也有少部分测试用例期待一些中文字段,在默认英文 locale 的情况下显然失败

issue 链接 issue 标题
I8FN7E openssl 测试套一些用例无法在 openEuler 2309 x86_64 QEMU 测试通过
I8FNJD os-basic 测试套 oe_test_dmraid 用例无法在 openEuler 2203 2309 x86_64 QEMU 测试通过
I8FNJQ mc 测试套 oe_test_mc_base_01 用例无法在 openEuler 2203 2309 x86_64 QEMU 测试通过
I8FOEN os-basic 测试套 oe_test_gcc_01 用例无法在 openEuler 2309 x86_64 QEMU 测试通过
I8FOHC gsl 测试套 oe_test_gsl_histogram_01 用例无法在 openEuler 2309 x86_64 QEMU 测试通过
I8FTGN iptables 测试套 oe_test_ip6tables-restore_01, oe_test_iptables-restore 用例无法在 openEuler 2309 x86_64 QEMU 测试通过
I8FTHB iptables 测试套 oe_test_ip6tables-save 无法在 openEuler 2203 2309 x86_64 QEMU 测试通过

依赖未安装的软件包

依照我们的理解,这些没有预装但是测试依赖的软件包,应当在 pre_test 部分使用 DNF_INSTALL 进行显式安装

issue 链接 issue 标题
I8FTRV os-basic 测试套一些测试用例依赖特定的软件包但是没有使用 DNF_INSTALL 显式安装
I8FTGC clang 测试套 oe_test_clang_02 用例无法在 openEuler 2309 x86_64 QEMU 测试通过
I8H7M3 一些测试用例依赖未显式安装且未预装的软件包进行测试

测试不适配 QEMU 环境

我们的 mugen 需要在已有的架构以及未来可能会进行支持的架构进行测试,测试用例有必要对 QEMU 环境有一个比较好的支持

在我的印象里,有见过用例会对虚拟机环境进行判断,并试图 skip 在虚拟机环境无法进行的测试点,但是判断方式恰好不适合 RISC-V QEMU 。这些用例没有在这次 baseOS 的测试中被整理到,在后续测试中可以再发现

issue 链接 issue 标题
I8FOQE kernel 测试套 oe_test_io_sched 用例硬编码 /sys/block/sda 导致测试不适配 QEMU 环境

内核模块文件名 .xz

相关问题在新的 mugen 分支已经修复了一些,但是仍有遗漏的

issue 链接 issue 标题
I8FNYC kmod 测试套 oe_test_insmod-lsmod 用例无法在 openEuler 2203 2309 x86_64 QEMU 测试通过

内核模块不存在

issue 链接 issue 标题
I8H8D0 ipmitool 测试套 oe_test_service_ipmievd 用例无法在 openEuler 2203 2309 x86_64 QEMU 测试通过

其他脚本缺陷

I8FOO8 影响范围略大,不过也可能是我们这边的测试环境(比如 QEMU 参数)导致的,也请教一下 QA 这边进行测试时的 QEMU 参数; I8FO45 大量影响 2309 版本的测试,这是由于 systemd 版本更新导致的; I89X70 是一个简单的拼写错误,已经关联了修复 pr

issue 链接 issue 标题
I89X70 initscripts 测试套 oe_test_service_network 用例缺陷修复
I8FNQN kernel 测试套 oe_test_swap_compress 用例无法在 openEuler 2203 2309 x86_64 QEMU 测试通过
I8FO45 mugen 在 openEuler 2309 从 systemctl disable 获取的 .service 文件名不正确
I8FO8B libosinfo 测试套 oe_test_osinfo-db-import 用例无法在 openEuler 2203 2309 x86_64 QEMU 测试通过
I8FOO8 mugen get_test_disk 函数将 /dev/sr0 光驱设备作为可用的测试磁盘返回
I8FTKZ os-basic 测试套 oe_test_system_log_recorded 用例脚本缺陷

json 问题

issue 链接 issue 标题
I8FOKL rsyslog 测试套一些用例需要 NODE2 但 rsyslog.json 中缺少相关声明
I8FOOC lvm2 测试套 oe_test_lvm2_pvdisplay_001 用例需要额外的磁盘参与测试但 lvm2.json 中缺少相关声明

RISC-V 适配

这部分待进行的工作还比较多,这个 issue 已经关联了 pr

issue 链接 issue 标题
I8FPEI os-basic 测试套 oe_test_uname, oe_test_awk, oe_test_system_log_dmesg 用例在 openEuler 2309 RISC-V 测试失败

评论 (0)

桜風の狐狐 创建了任务 1年前
桜風の狐狐 修改了描述 1年前
展开全部操作日志

登录 后才可以发表评论

状态
负责人
项目
Pull Requests
关联的 Pull Requests 被合并后可能会关闭此 issue
预计工期 (小时)
开始日期   -   截止日期
-
置顶选项
优先级
里程碑
分支
参与者(1)
8240539 weilinfox 1672584914
1
https://gitee.com/openeuler/QA.git
git@gitee.com:openeuler/QA.git
openeuler
QA
QA

搜索帮助