openEuler 24.03 (LTS-SP1) cgroup v2下执行ltp概率出现hung_task

**【缺陷描述】：openEuler 24.03 (LTS-SP1) cgroup v2下执行ltp概率出现hung_task**

**一、缺陷信息**

**【缺陷所属的os版本】openEuler 24.03 (LTS-SP1)**

**【内核版本】6.6.0-89.0.0.94.oe2403sp1.aarch64**

**【缺陷所属软件及版本号】kernel-6.6.0-89.0.0.94.oe2403sp1.aarch64**

**【环境信息】**

物理机、虚拟机 x86、arm、loongarch都能复现该问题

软件信息

使用20240524ltp进行测试

**【问题复现步骤】：**

1. 添加命令行参数 systemd.unified_cgroup_hierarchy=1 后重启，确保使用cgroup v2
2. 编译安装20240524版本的ltp
3. ltp安装路径添加 runtest/mytest文件，文件内容为：
cgroup_fj_function_perf_event cgroup_fj_function.sh perf_event
cgroup_fj_function_net_prio cgroup_fj_function.sh net_prio
4. ltp安装路径下执行 ./runltp -f mytest -I 1000
5. 几分钟内可以复现到有进程发生hung_task
[root@ltptest ~]# ps -aux | awk '$8 ~ "D"'
root         466  0.0  0.0      0     0 ?        D    14:02   0:00 [kworker/1:3+cgroup_destroy]
root        3926  0.0  0.0      0     0 ?        D    14:11   0:00 [kworker/2:2+cgroup_destroy]
root        4904  0.0  0.0   2476  1372 pts/0    D    14:11   0:00 tst_cgctl require net_prio 4882
[root@ltptest ltp]# cat /proc/466/stack 
[<0>] cgroup_lock_and_drain_offline+0x14c/0x1e8
[<0>] cgroup_destroy_root+0x3c/0x2c0
[<0>] css_free_rwork_fn+0x248/0x338
[<0>] process_one_work+0x16c/0x3b8
[<0>] worker_thread+0x22c/0x3b0
[<0>] kthread+0xec/0x100
[<0>] ret_from_fork+0x10/0x20
[root@ltptest ltp]# cat /proc/3926/stack 
[<0>] cgroup_lock_and_drain_offline+0x14c/0x1e8
[<0>] cgroup_destroy_root+0x3c/0x2c0
[<0>] css_free_rwork_fn+0x248/0x338
[<0>] process_one_work+0x16c/0x3b8
[<0>] worker_thread+0x22c/0x3b0
[<0>] kthread+0xec/0x100
[<0>] ret_from_fork+0x10/0x20
[root@ltptest ltp]# cat /proc/4904/stack 
[<0>] cgroup_lock_and_drain_offline+0x14c/0x1e8
[<0>] cgroup1_get_tree+0x44/0x230
[<0>] vfs_get_tree+0x30/0xf8
[<0>] do_new_mount+0x1b0/0x310
[<0>] path_mount+0x1c4/0x2c0
[<0>] __arm64_sys_mount+0x11c/0x150
[<0>] invoke_syscall+0x50/0x128
[<0>] el0_svc_common.constprop.0+0xc8/0xf0
[<0>] do_el0_svc+0x24/0x38
[<0>] el0_svc+0x44/0x1b8
[<0>] el0t_64_sync_handler+0x100/0x130
[<0>] el0t_64_sync+0x188/0x190

**【期望结果】**，执行ltp压测不发生如上hung_task

**【缺陷详情及分析指导参考链接】**

换用anolis、kos、upstream 内核压测相同项可以十几小时内不复现。

下面是当前分析进展:

使用以下c程序也可以复现

cgroup_mount_test.c

```c
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <errno.h>
#include <sys/mount.h>
#include <sys/stat.h>
#include <unistd.h>

#define LOOPS 10000
#define TMPDIR "/tmp"
#define CGROUP_BASE "ltp_cgtest"
#define CONTROLLERS_COUNT 2

const char *controllers[CONTROLLERS_COUNT] = {"perf_event", "net_prio"};

void safe_mkdir(const char *path) {
    if (mkdir(path, 0777) == -1 && errno != EEXIST) {
        fprintf(stderr, "mkdir(%s) failed: %s\n", path, strerror(errno));
        exit(1);
    }
}

void safe_rmdir(const char *path) {
    if (rmdir(path) == -1 && errno != ENOENT) {
        fprintf(stderr, "rmdir(%s) failed: %s\n", path, strerror(errno));
    }
}

int is_mounted(const char *mnt) {
    FILE *fp = fopen("/proc/mounts", "r");
    if (!fp) return 0;
    char line[512];
    int found = 0;
    while (fgets(line, sizeof(line), fp)) {
        if (strstr(line, mnt)) {
            found = 1;
            break;
        }
    }
    fclose(fp);
    return found;
}

int main(void) {
    if (getuid() != 0) {
        fprintf(stderr, "This program must be run as root\n");
        return 1;
    }

FILE *fcg = fopen("/proc/cgroups", "r");
    if (!fcg) {
        fprintf(stderr, "Kernel does not support cgroups\n");
        return 1;
    }
    fclose(fcg);

char mnt[256];
    for (int i = 1; i <= LOOPS; ++i) {
        for (int c = 0; c < CONTROLLERS_COUNT; ++c) {
            snprintf(mnt, sizeof(mnt), "%s/cgroup_%s", TMPDIR, controllers[c]);
            printf("=== Loop %d: %s ===\n", i, controllers[c]);
            fflush(stdout);

safe_mkdir(mnt);

if (!is_mounted(mnt)) {
                if (mount(controllers[c], mnt, "cgroup", 0, controllers[c]) == -1) {
                    fprintf(stderr, "Failed to mount cgroup v1 for %s at %s: %s\n",
                            controllers[c], mnt, strerror(errno));
                    safe_rmdir(mnt);
                    continue;
                }
            }

// 这里可以插入你需要的cgroup操作或测试

if (umount2(mnt, 0) == -1) {
                fprintf(stderr, "umount(%s) failed: %s\n", mnt, strerror(errno));
            }
            safe_rmdir(mnt);
        }
    }
    return 0;
}

```

```Makefile

CC = gcc
CFLAGS = -Wall -O2

all: cgroup_mount_test

cgroup_mount_test: cgroup_mount_test.c
        $(CC) $(CFLAGS) -o cgroup_mount_test cgroup_mount_test.c

clean:
        rm -f cgroup_mount_test

```

复现场景

在 cgroup v2 环境下，通过程序对 perf_event cgroup 子系统与下列任意一个 cgroup 子系统（如 cpuset、cpuacct、blkio、devices、freezer、net_cls、net_prio、hugetlb、rdma、misc）进行频繁的挂载和卸载（即循环 mount/umount），很容易复现该问题。

复现与规避

在 cgroup v1 环境下，若 perf_event 或 net_prio 已被挂载，频繁 mount/umount 通常不会复现该问题。但如果手动卸载 perf_event 或 net_prio 后再运行复现脚本，同样可以复现该问题。
在 cgroup v2 环境下，在每次 umount 操作后加入 0.5 秒的延迟，可以显著降低复现概率，将复现所需的循环次数提升到上万次。

其他发行版 6.6 内核的复现情况

- 使用上述C 程序循环挂载、卸载 perf_event 和 net_prio 两个 cgroup 子系统时，Kylin（KOS）、Anolis、Euler 以及上游内核均可在几秒钟内复现该问题。
- 使用 LTP 程序单独测试 cgroup_fj_function_perf_event 或 cgroup_fj_function_net_prio 时，Euler内核能很快复现该问题，而 KOS、Anolis 及上游内核则可以持续运行十几个小时不复现。
**二、缺陷分析结构反馈**
影响性分析说明：

缺陷严重等级:(Critical/High/Moderate/Low)

缺陷根因说明:

受影响版本排查(受影响/不受影响):
openEuler-20.03-LTS-SP4
openEuler-22.03-LTS-SP3
openEuler-22.03-LTS-SP4
openEuler-24.03-LTS
openEuler-24.03-LTS-SP1
openEuler-24.03-LTS-SP2

修复是否涉及abi变化(是/否):
openEuler-20.03-LTS-SP4
openEuler-22.03-LTS-SP3
openEuler-22.03-LTS-SP4
openEuler-24.03-LTS
openEuler-24.03-LTS-SP1
openEuler-24.03-LTS-SP2

src-openEuler/kernel

内容风险标识

评论 (12)

src-openEuler/kernel .gitee-modal { width: 500px !important; }

内容风险标识