systemd-249 在容器环境下出现严重的可用性问题 · Issue #IAUE8E · src-openEuler/systemd - Gitee.com

轻量养虾，开箱即用！低 Token + 稳定算力，Gitee & 模力方舟联合出品的 PocketClaw 正式开售！点击了解详情

已完成

任务

成员

创建于

2024-09-29 09:43

系统环境：openeuler 22.03 sp1 + systemd-249
问题：容器云实例启动挂载失败问题，出现25秒的timeout

机器配置：384核
![输入图片说明](https://foruda.gitee.com/images/1727574107015050920/7f2655c7_12680603.png "屏幕截图")

业务类型：容器实例
使用qemu-system-x86启动 挂载了4千～6千的mount点
大约每个 qemu 会挂载100+的mount
```
# cat /proc/1/mountinfo | grep kata | wc -l
4462
```
问题现象：
1、容器创建实例响应 timeout 
2、ssh登陆及执行系统命令vim/ps/top/systemctl卡顿慢

top查看系统负载比较高
![输入图片说明](https://foruda.gitee.com/images/1727574177548157630/90f07bb0_12680603.png "屏幕截图")

查看systemd的CPU持续标高
![输入图片说明](https://foruda.gitee.com/images/1727574201633478869/e0d41083_12680603.png "屏幕截图")

查看 systemdcpu100%运行，无法看到运行态栈内容
![输入图片说明](https://foruda.gitee.com/images/1727574239871119691/4742daed_12680603.png "屏幕截图")

查看dbus接口状态正常
![输入图片说明](https://foruda.gitee.com/images/1727574361493684653/dd56154c_12680603.png "屏幕截图")
接口CONNECTION点：
这里解释下：例如 D-Bus连接名称org.freedesktop.hostname1（CONNECTION :1.1702765）中的数字部分是一个递增的计数器，表示自系统启动以来D-Bus总线分配的连接数。因此，1702765 表示这是第 1,702,765 次连接请求
![输入图片说明](https://foruda.gitee.com/images/1727574350032158741/22ce60c9_12680603.png "屏幕截图")
查看时间系统是8.30号交付的，一个月的时间有170万次的链接。

查看dbus接口的状态，dbus接口一直在处理event事件
dbus-monitor  --system
![输入图片说明](https://foruda.gitee.com/images/1727574404721586494/d8248784_12680603.png "屏幕截图")

perf 抓去systemd 热点
perf record -a -g -F99 --call-graph dwarf,40960 -p 1 -- sleep 120
perf report --stdio -G
```
# perf report --stdio -G
# To display the perf.data header info, please use --header/--header-only options.
#
#
# Total Lost Samples: 0
#
# Samples: 5K of event 'cycles'
# Event count (approx.): 155713306543
#
# Children      Self  Command  Shared Object             Symbol                                    
# ........  ........  .......  ........................  ..........................................
#
    99.36%     0.00%  systemd  systemd                   [.] 0x000056363a1b9b34
            |
            ---0x56363a1b9b34
               __libc_start_main
               0x7f3e5e288f0f
               0x56363a1b8a47
               0x56363a200e5f
               sd_event_run
               sd_event_dispatch
               0x7f3e5e75e28f
               |          
                --99.04%--0x56363a273f4f
                          |          
                          |--88.60%--0x56363a26dd13
                          |          |          
                          |          |--72.74%--0x56363a26ad35
                          |          |          |          
                          |          |          |--50.29%--0x56363a2669df
                          |          |          |          |          
                          |          |          |          |--47.04%--0x56363a240d29
                          |          |          |          |          |          
                          |          |          |          |           --46.97%--_hashmap_iterate
                          |          |          |          |                     |          
                          |          |          |          |                     |--8.65%--0x7f3e5e69e905
                          |          |          |          |                     |          
                          |          |          |          |                     |--4.77%--0x7f3e5e69e931
                          |          |          |          |                     |          
                          |          |          |          |                     |--4.22%--0x7f3e5e69e900
                          |          |          |          |                     |          
                          |          |          |          |                     |--3.21%--0x7f3e5e69e92d
                          |          |          |          |                     |          
                          |          |          |          |                     |--3.15%--0x7f3e5e69e88c
                          |          |          |          |                     |          
                          |          |          |          |                     |--1.98%--0x7f3e5e69e8f4
                          |          |          |          |                     |          
                          |          |          |          |                     |--1.88%--0x7f3e5e69e920
                          |          |          |          |                     |          
                          |          |          |          |                     |--1.19%--0x7f3e5e69e8d6
                          |          |          |          |                     |          
                          |          |          |          |                     |--0.70%--0x7f3e5e69e84f
                          |          |          |          |                     |          
                          |          |          |          |                     |--0.65%--0x7f3e5e69e91a
                          |          |          |          |                     |          
                          |          |          |          |                      --0.58%--0x7f3e5e69e877
                          |          |          |          |          
                          |          |          |           --2.59%--0x56363a240d33
                          |          |          |          
                          |          |           --21.54%--0x56363a266af4
                          |          |                     sd_device_get_property_value
                          |          |                     |          
                          |          |                      --21.52%--device_properties_prepare
                          |          |                                |          
                          |          |                                |--14.95%--device_read_db_internal
                          |          |                                |          |          
                          |          |                                |          |--13.57%--device_read_db_internal_filename
                          |          |                                |          |          |          
                          |          |                                |          |          |--4.59%--0x7f3e5e71ef39
                          |          |                                |          |          |          device_add_property_aux
                          |          |                                |          |          |          |          
                          |          |                                |          |          |          |--3.12%--hashmap_replace
                          |          |                                |          |          |          |          |          
                          |          |                                |          |          |          |          |--1.72%--0x7f3e5e6a3f9c
                          |          |                                |          |          |          |          |          |          
                          |          |                                |          |          |          |          |           --0.54%--0x7f3e5e6a3c96
                          |          |                                |          |          |          |          |          
                          |          |                                |          |          |          |           --0.66%--0x7f3e5e6a3ef4
                          |          |                                |          |          |          |          
                          |          |                                |          |          |          |--0.68%--__strdup
                          |          |                                |          |          |          |          |          
                          |          |                                |          |          |          |           --0.53%--malloc
                          |          |                                |          |          |          |          
                          |          |                                |          |          |           --0.60%--hashmap_get2
                          |          |                                |          |          |          
                          |          |                                |          |          |--3.91%--0x7f3e5e71ef53
                          |          |                                |          |          |          device_add_property_aux
                          |          |                                |          |          |          |          
                          |          |                                |          |          |          |--2.48%--hashmap_replace
                          |          |                                |          |          |          |          |          
                          |          |                                |          |          |          |          |--1.28%--0x7f3e5e6a3f9c
                          |          |                                |          |          |          |          |          
                          |          |                                |          |          |          |           --0.53%--0x7f3e5e6a3ef4
                          |          |                                |          |          |          |          
                          |          |                                |          |          |          |--0.62%--__strdup
                          |          |                                |          |          |          |          |          
                          |          |                                |          |          |          |           --0.51%--malloc
                          |          |                                |          |          |          |          
                          |          |                                |          |          |           --0.58%--hashmap_get2
                          |          |                                |          |          |          
                          |          |                                |          |          |--1.68%--read_full_file_full
                          |          |                                |          |          |          |          
                          |          |                                |          |          |          |--0.84%--read_full_stream_full
                          |          |                                |          |          |          |          |          
                          |          |                                |          |          |          |           --0.56%--_IO_fread
                          |          |                                |          |          |          |          
                          |          |                                |          |          |           --0.73%--xfopenat
                          |          |                                |          |          |                     |          
                          |          |                                |          |          |                      --0.71%--0x7f3e5e2d399c
                          |          |                                |          |          |                                _IO_file_fopen
                          |          |                                |          |          |                                |          
                          |          |                                |          |          |                                 --0.67%--_IO_file_open
                          |          |                                |          |          |                                           open64
                          |          |                                |          |          |                                           |          
                          |          |                                |          |          |                                            --0.65%--entry_SYSCALL_64_after_hwframe
                          |          |                                |          |          |                                                      do_syscall_64
                          |          |                                |          |          |                                                      do_sys_open
                          |          |                                |          |          |                                                      do_sys_openat2
                          |          |                                |          |          |                                                      |          
                          |          |                                |          |          |                                                       --0.58%--do_filp_open
                          |          |                                |          |          |                                                                 path_openat
                          |          |                                |          |          |          
                          |          |                                |          |           --0.55%--0x7f3e5e3ed391
                          |          |                                |          |          
                          |          |                                |           --1.36%--device_get_device_id
                          |          |                                |                     |          
                          |          |                                |                      --1.20%--sd_device_get_subsystem
                          |          |                                |                                |          
                          |          |                                |                                 --1.01%--readlink_value
                          |          |                                |                                           |          
                          |          |                                |                                            --0.92%--readlinkat_malloc
```
![输入图片说明](https://foruda.gitee.com/images/1727577036917944196/8d94587f_12680603.png "屏幕截图")
![输入图片说明](https://foruda.gitee.com/images/1728389749377381024/c85b7cca_12680603.png "屏幕截图")

用户态CPU占用集中在sd_event_run->sd_event_dispatch->...->mount_process_proc_self_mountinfo->...device_found_node

系统环境：openeuler 22.03 sp1 + systemd-249
问题：容器云实例启动挂载失败问题，出现25秒的timeout

机器配置：384核
![输入图片说明](https://foruda.gitee.com/images/1727574107015050920/7f2655c7_12680603.png "屏幕截图")

业务类型：容器实例
使用qemu-system-x86启动 挂载了4千～6千的mount点
大约每个 qemu 会挂载100+的mount
```
# cat /proc/1/mountinfo | grep kata | wc -l
4462
```
问题现象：
1、容器创建实例响应 timeout 
2、ssh登陆及执行系统命令vim/ps/top/systemctl卡顿慢

top查看系统负载比较高
![输入图片说明](https://foruda.gitee.com/images/1727574177548157630/90f07bb0_12680603.png "屏幕截图")

查看systemd的CPU持续标高
![输入图片说明](https://foruda.gitee.com/images/1727574201633478869/e0d41083_12680603.png "屏幕截图")

查看 systemdcpu100%运行，无法看到运行态栈内容
![输入图片说明](https://foruda.gitee.com/images/1727574239871119691/4742daed_12680603.png "屏幕截图")

查看dbus接口状态正常
![输入图片说明](https://foruda.gitee.com/images/1727574361493684653/dd56154c_12680603.png "屏幕截图")
接口CONNECTION点：
这里解释下：例如 D-Bus连接名称org.freedesktop.hostname1（CONNECTION :1.1702765）中的数字部分是一个递增的计数器，表示自系统启动以来D-Bus总线分配的连接数。因此，1702765 表示这是第 1,702,765 次连接请求
![输入图片说明](https://foruda.gitee.com/images/1727574350032158741/22ce60c9_12680603.png "屏幕截图")
查看时间系统是8.30号交付的，一个月的时间有170万次的链接。

查看dbus接口的状态，dbus接口一直在处理event事件
dbus-monitor  --system
![输入图片说明](https://foruda.gitee.com/images/1727574404721586494/d8248784_12680603.png "屏幕截图")

perf 抓去systemd 热点
perf record -a -g -F99 --call-graph dwarf,40960 -p 1 -- sleep 120
perf report --stdio -G
```
# perf report --stdio -G
# To display the perf.data header info, please use --header/--header-only options.
#
#
# Total Lost Samples: 0
#
# Samples: 5K of event 'cycles'
# Event count (approx.): 155713306543
#
# Children      Self  Command  Shared Object             Symbol                                    
# ........  ........  .......  ........................  ..........................................
#
    99.36%     0.00%  systemd  systemd                   [.] 0x000056363a1b9b34
            |
            ---0x56363a1b9b34
               __libc_start_main
               0x7f3e5e288f0f
               0x56363a1b8a47
               0x56363a200e5f
               sd_event_run
               sd_event_dispatch
               0x7f3e5e75e28f
               |          
                --99.04%--0x56363a273f4f
                          |          
                          |--88.60%--0x56363a26dd13
                          |          |          
                          |          |--72.74%--0x56363a26ad35
                          |          |          |          
                          |          |          |--50.29%--0x56363a2669df
                          |          |          |          |          
                          |          |          |          |--47.04%--0x56363a240d29
                          |          |          |          |          |          
                          |          |          |          |           --46.97%--_hashmap_iterate
                          |          |          |          |                     |          
                          |          |          |          |                     |--8.65%--0x7f3e5e69e905
                          |          |          |          |                     |          
                          |          |          |          |                     |--4.77%--0x7f3e5e69e931
                          |          |          |          |                     |          
                          |          |          |          |                     |--4.22%--0x7f3e5e69e900
                          |          |          |          |                     |          
                          |          |          |          |                     |--3.21%--0x7f3e5e69e92d
                          |          |          |          |                     |          
                          |          |          |          |                     |--3.15%--0x7f3e5e69e88c
                          |          |          |          |                     |          
                          |          |          |          |                     |--1.98%--0x7f3e5e69e8f4
                          |          |          |          |                     |          
                          |          |          |          |                     |--1.88%--0x7f3e5e69e920
                          |          |          |          |                     |          
                          |          |          |          |                     |--1.19%--0x7f3e5e69e8d6
                          |          |          |          |                     |          
                          |          |          |          |                     |--0.70%--0x7f3e5e69e84f
                          |          |          |          |                     |          
                          |          |          |          |                     |--0.65%--0x7f3e5e69e91a
                          |          |          |          |                     |          
                          |          |          |          |                      --0.58%--0x7f3e5e69e877
                          |          |          |          |          
                          |          |          |           --2.59%--0x56363a240d33
                          |          |          |          
                          |          |           --21.54%--0x56363a266af4
                          |          |                     sd_device_get_property_value
                          |          |                     |          
                          |          |                      --21.52%--device_properties_prepare
                          |          |                                |          
                          |          |                                |--14.95%--device_read_db_internal
                          |          |                                |          |          
                          |          |                                |          |--13.57%--device_read_db_internal_filename
                          |          |                                |          |          |          
                          |          |                                |          |          |--4.59%--0x7f3e5e71ef39
                          |          |                                |          |          |          device_add_property_aux
                          |          |                                |          |          |          |          
                          |          |                                |          |          |          |--3.12%--hashmap_replace
                          |          |                                |          |          |          |          |          
                          |          |                                |          |          |          |          |--1.72%--0x7f3e5e6a3f9c
                          |          |                                |          |          |          |          |          |          
                          |          |                                |          |          |          |          |           --0.54%--0x7f3e5e6a3c96
                          |          |                                |          |          |          |          |          
                          |          |                                |          |          |          |           --0.66%--0x7f3e5e6a3ef4
                          |          |                                |          |          |          |          
                          |          |                                |          |          |          |--0.68%--__strdup
                          |          |                                |          |          |          |          |          
                          |          |                                |          |          |          |           --0.53%--malloc
                          |          |                                |          |          |          |          
                          |          |                                |          |          |           --0.60%--hashmap_get2
                          |          |                                |          |          |          
                          |          |                                |          |          |--3.91%--0x7f3e5e71ef53
                          |          |                                |          |          |          device_add_property_aux
                          |          |                                |          |          |          |          
                          |          |                                |          |          |          |--2.48%--hashmap_replace
                          |          |                                |          |          |          |          |          
                          |          |                                |          |          |          |          |--1.28%--0x7f3e5e6a3f9c
                          |          |                                |          |          |          |          |          
                          |          |                                |          |          |          |           --0.53%--0x7f3e5e6a3ef4
                          |          |                                |          |          |          |          
                          |          |                                |          |          |          |--0.62%--__strdup
                          |          |                                |          |          |          |          |          
                          |          |                                |          |          |          |           --0.51%--malloc
                          |          |                                |          |          |          |          
                          |          |                                |          |          |           --0.58%--hashmap_get2
                          |          |                                |          |          |          
                          |          |                                |          |          |--1.68%--read_full_file_full
                          |          |                                |          |          |          |          
                          |          |                                |          |          |          |--0.84%--read_full_stream_full
                          |          |                                |          |          |          |          |          
                          |          |                                |          |          |          |           --0.56%--_IO_fread
                          |          |                                |          |          |          |          
                          |          |                                |          |          |           --0.73%--xfopenat
                          |          |                                |          |          |                     |          
                          |          |                                |          |          |                      --0.71%--0x7f3e5e2d399c
                          |          |                                |          |          |                                _IO_file_fopen
                          |          |                                |          |          |                                |          
                          |          |                                |          |          |                                 --0.67%--_IO_file_open
                          |          |                                |          |          |                                           open64
                          |          |                                |          |          |                                           |          
                          |          |                                |          |          |                                            --0.65%--entry_SYSCALL_64_after_hwframe
                          |          |                                |          |          |                                                      do_syscall_64
                          |          |                                |          |          |                                                      do_sys_open
                          |          |                                |          |          |                                                      do_sys_openat2
                          |          |                                |          |          |                                                      |          
                          |          |                                |          |          |                                                       --0.58%--do_filp_open
                          |          |                                |          |          |                                                                 path_openat
                          |          |                                |          |          |          
                          |          |                                |          |           --0.55%--0x7f3e5e3ed391
                          |          |                                |          |          
                          |          |                                |           --1.36%--device_get_device_id
                          |          |                                |                     |          
                          |          |                                |                      --1.20%--sd_device_get_subsystem
                          |          |                                |                                |          
                          |          |                                |                                 --1.01%--readlink_value
                          |          |                                |                                           |          
                          |          |                                |                                            --0.92%--readlinkat_malloc
```
![输入图片说明](https://foruda.gitee.com/images/1727577036917944196/8d94587f_12680603.png "屏幕截图")
![输入图片说明](https://foruda.gitee.com/images/1728389749377381024/c85b7cca_12680603.png "屏幕截图")

用户态CPU占用集中在sd_event_run->sd_event_dispatch->...->mount_process_proc_self_mountinfo->...device_found_node

登录后才可以发表评论

状态

负责人

项目

里程碑

Pull Requests

关联的 Pull Requests 被合并后可能会关闭此 issue

分支

开始日期 - 截止日期

-

置顶选项

优先级

预计工期（小时）

参与者（5）

1

https://gitee.com/src-openeuler/systemd.git

git@gitee.com:src-openeuler/systemd.git

src-openeuler

systemd

systemd