+[2] https://redis.io/docs/management/optimization/benchmarks/#factors-impacting-redis-performance
+[3] https://help.aliyun.com/document_detail/111881.htm?spm=a2c4g.11186623.0.0.17e88778WwUw9r#concept-rgv-rvd-2hb
+[4] https://help.aliyun.com/document_detail/336853.html?spm=a2c4g.11186623.0.0.6e244762X1zZKA
+[5] https://help.aliyun.com/document_detail/212634.html
+[6] https://help.aliyun.com/document_detail/25436.html
+[7] https://help.aliyun.com/document_detail/336853.html
+[8]
+[9]
diff --git "a/sig/AI/content/SMC/\344\272\214\347\272\247\347\233\256\345\275\225/6_QA.md" "b/sig/AI/content/SMC/\344\272\214\347\272\247\347\233\256\345\275\225/6_QA.md" new file mode 100644 index 0000000000000000000000000000000000000000..09b61540d3159f4848a0d7bf3f6bfc5e6e9f207b --- /dev/null +++ "b/sig/AI/content/SMC/\344\272\214\347\272\247\347\233\256\345\275\225/6_QA.md" @@ -0,0 +1,26 @@ +# 常见问题汇总 + +## SMC-R 导致端口不通 + +**Q**: 开启 SMC-R 后访问部分端口出现不通的情况 + +**A**: +- 解决方法 + +载入 SMC 模块（modprobe smc），并将执行 sysctl net.smc.sysctl_smc_experiments=1 命令，将该配置打开。如需持久化该配置，可以添加到 /etc/sysctl.conf 中； +重新发起新的 SMC 链接后将不会出现此问题。 + +- 问题原因 + +某些服务在处理 TCP options 时，例如网关或者反向代理服务器，会将请求的 TCP options 重放，此时 SMC 通过 TCP 握手时所携带的 TCP options 将会被重放，SMC client 将会误认为对端 server 支持 SMC 能力导致例如 curl 请求失败，但是 ping（ICMP 协议）正常。打开上述 sysctl 将会使用不同的 TCP options 解决 TCP options 重放问题。该问题经过我们验证互联网中的服务，仅存在极少数服务中，绝大多数可以正常建连。 + + +## SMC-R 导致部分端口不可用，返回 EADDRINUSE 错误 + +**Q**: 加载 SMC-R 后 33800 后的 16 个端口不可用，返回 EADDRINUSE 错误 + +**A**: + +- 问题原因 + +由于 SMC-R + eRDMA 实现方式的特殊性，SMC-R 模块将会占用 ERI 所在 net namespace 下 33800 开始的 16 个端口作为 OOB 建连的预留端口，若端口占用失败则 SMC 模块加载失败。SMC 模块卸载后将会释放这些端口。 diff --git "a/sig/AI/content/SMC/\344\272\214\347\272\247\347\233\256\345\275\225/README.md" "b/sig/AI/content/SMC/\344\272\214\347\272\247\347\233\256\345\275\225/README.md" new file mode 100644 index 0000000000000000000000000000000000000000..bb97a1a5129ef159d329497e98c12a95136ddd10 --- /dev/null +++ "b/sig/AI/content/SMC/\344\272\214\347\272\247\347\233\256\345\275\225/README.md" @@ -0,0 +1,37 @@ +# 背景 + +共享内存通信（Shared Memory Communication，SMC）是一种兼容 socket 层，利用共享内存操作实现高性能通信的内核网络协议栈。当共享内存通信基于远程内存直接访问（Remote Direct Memory Access，RDMA）技术实现时，称为 SMC over RDMA（SMC-R）。 + +SMC-R 兼容 socket 接口的特点使 TCP 应用程序无需任何改造即可运行在 SMC 协议栈上；底层使用的 RDMA 网络使 SMC 拥有相较于 TCP 更好的网络性能。SMC 协议栈通过 TCP 连接自主发现对侧 SMC 能力，协商成功后使用 SMC 协议栈承载应用数据流量；协商失败则安全回退至 TCP/IP 协议栈，保证数据正常传输。 + +阿里云 Alibaba Cloud Linux 3 操作系统基于阿里云弹性 RDMA（elastic RDMA, eRDMA）技术首次将 SMC-R 带入云上场景，实现云上 TCP 协议栈的透明无损替换，为数据库、RPC、批量数据传输等场景提供相比 TCP 更好的网络性能。相较于上游 Linux SMC-R 实现，Alibaba Cloud Linux 3 中的 SMC-R 更适配阿里云 eRDMA 技术、拥有更好的性能、可靠的稳定性、丰富成熟的透明替换方案和及时的更新维护。 + + + +# 组织原则 + +共赢、平等、开源 + +# 目标愿景 + +- 探索 SMC 更多可能性, 推进 SMC 在更多场景下的实现与落地 +- 促进技术交流 +- 提供技术帮助 +- 为各个伙伴提供需求输入 +- 同步各个伙伴的开发进展 +- 促进各个伙伴之间的合作 + +# 组织形式 + +- 定期收集参与伙伴的 topic。有 topic 的情况下, 会召开开放性会议。日常 SMC 相关讨论将以周会形式召开，会议纪要将公开并存档。 +- 通过邮件及钉钉群的方式申报交流议题 +- 开放性会议将以云会议的方式，会议开始一天前会将会议 ID 以及议题汇总发送到 SIG 相关邮件列表和钉钉群 +- 议结束后纪要通过邮件列表发出，并在 SIG 中归档 + +# 邮件列表 + +netdev@lists.openanolis.cn + +# 联系 + +邮件列表或钉钉群: 34264214 diff --git "a/sig/AI/content/SMC/\344\272\214\347\272\247\347\233\256\345\275\225/\351\276\231\350\234\245\344\270\273\347\253\231\351\246\226\351\241\265.link" "b/sig/AI/content/SMC/\344\272\214\347\272\247\347\233\256\345\275\225/\351\276\231\350\234\245\344\270\273\347\253\231\351\246\226\351\241\265.link" new file mode 100644 index 0000000000000000000000000000000000000000..33dce3fdda5eb9dd740517631d959d2312dcf7d3 --- /dev/null +++ "b/sig/AI/content/SMC/\344\272\214\347\272\247\347\233\256\345\275\225/\351\276\231\350\234\245\344\270\273\347\253\231\351\246\226\351\241\265.link" @@ -0,0 +1 @@ +https://openanolis.cn/ \ No newline at end of file diff --git "a/sig/AI/content/ToneAgent\347\274\226\350\257\221\346\211\223\345\214\205\346\211\213\345\206\214.md" "b/sig/AI/content/ToneAgent\347\274\226\350\257\221\346\211\223\345\214\205\346\211\213\345\206\214.md" new file mode 100644 index 0000000000000000000000000000000000000000..0949b8e70e5300f1cf752ca0259c1d30317b932b --- /dev/null +++ "b/sig/AI/content/ToneAgent\347\274\226\350\257\221\346\211\223\345\214\205\346\211\213\345\206\214.md" @@ -0,0 +1,63 @@ +# 1. ToneAgent编译 + +## 1.1 环境准备 +Go 1.17 及以上版本（[下载地址](https://go.dev/dl/)） + +## 1.2 下载ToneAgent + git clone git@gitee.com:anolis/tone-agent.git + cd tone-agent + +## 1.3 编译 +`-o` 后面是二进制的名称 + +### 1.3.1 编译 AMD64的二进制 + GOOS=linux GOARCH=amd64 go build -o toneagent-amd64-v102 + +### 1.3.2 编译 ARM 的二进制 + GOOS=linux GOARCH=arm64 go build -o toneagent-amd64-v102 + +# 2. Linux环境二进制打包 + +## 2.1 RPM包制作 + +### 2.1.1 RPM环境准备 + sudo su -c bash # 使用bash + yum install rpmdevtools rpmdevtools # 安装rpm打包工具 + +### 2.1.2 打包RPM包 + rpmdev-setuptree # 创建目录，会在用户目录下创建rpmbuild文件夹 ～/rpmbuild + cd # 返回用户目录 + vi rpmbuild/SPEC/toneagent.spec # 修改创建spec的模板文件 + mkdir rpmbuild/BUILDROOT/toneagent-0.0.1-AMD + cp ${二进制路径} rpmbuild/BUILDROOT/toneagent-0.0.1-AMD/ # 拷贝二进制到RPM目录 + cd rpmbuild/SPEC/ + rpmbuild -bb toneagent.spec # 构建rpm包 + +### 2.1.3 RPM安装及启动 + sudo yum -y install ${toneagent包位置} # 安装 + sudo systemctl start toneagent # 启动 + +## 2.2 DEB包制作 + +### 2.1.1 环境准备 + sudo apt instsll -y dpkg # 使用二进制打包，只需要安装这个包 + sudo apt install -y dpkg build-essential devscripts quilt dh-make git # 扩展安装 + +### 2.1.2 打包DEB包 + mkdir toneagent.work + cd toneagent.work + mkdir -pv toneagent_0.0.1_amd64/{DEBIAN,bin} + cp ${tone-agent二进制} toneagent_0.0.1_amd64/bin/ + echo "Package: toneagent + Version: 1.0 + Architecture: arm + Maintainer: alibaba + Installed-Size: 100 + Depends: + Priority: optional + Description: toneagent for SUNXI devices (A10,A20 ...),example is Cubieboard. + " >> toneagent_0.0.1_amd64/DEBIAN/control + dpkg -b toneagent_0.0.1_amd64 toneagent_0.0.1_amd64.deb + +### 2.1.3 DEB安装 + dpkg -i toneagent_0.0.1_amd64.deb diff --git "a/sig/AI/content/\345\206\205\346\240\270\350\260\203\346\265\213/...Ftrace\357\274\232_osnoise_\346\200\273\350\247\210.md" "b/sig/AI/content/\345\206\205\346\240\270\350\260\203\346\265\213/...Ftrace\357\274\232_osnoise_\346\200\273\350\247\210.md" new file mode 100644 index 0000000000000000000000000000000000000000..782c9a33160ade07820bfa6300aa0fd6cc5779c9 --- /dev/null +++ "b/sig/AI/content/\345\206\205\346\240\270\350\260\203\346\265\213/...Ftrace\357\274\232_osnoise_\346\200\273\350\247\210.md" @@ -0,0 +1,179 @@ + + + +# Ftrace: osnoise 总览 + + + + + + + + + + + +## 一、osnoise是什么？ + + + + +在linux系统中，一个普通线程在执行过程中会被各种各样的事件所干扰打断，如NMI、IRQ、SOFTIRQ、来自硬件的干扰以及来自其他线程的干扰。这些事件对于一个普通线程来说，就相当于噪声一样的存在。在Linux 5.14-rc1中，引入了一个新的tracer——osnoise tracer。osnoise从一个线程的视角出发，统计出所有对他有干扰的噪声,进而协助开发人员分析系统背景噪声情况。 + + +### 1.1 噪声分类 + + +在osnoise tracer中，将统计的噪声分为了以下五个大类： + + ++ IRQ：硬中断 ++ SOFTIRQ：软中断 ++ NMI：不可屏蔽中断 ++ HW：来自硬件的噪声。 ++ THREAD：来自其他线程的影响。 + + +其中，HW（hardware latency）表示某些底层硬件或者固件的行为引起的大型系统延迟。在Ftrace中，有一个名为hwlat\_detector的tracer，它的主要目的就是用来检测硬件噪声。osnoise的设计思想借鉴了hwlat\_detector。 + + +### 1.2 hwlat + + +hwlat\_detector的工作原理简单来说就是在一段时间内，关闭irq、softirq以及抢占，然后不断的去轮询TSC（Time Stamp Counter）寄存器的值。由于关闭了中断及抢占，任意两次读取之间的间隙都是由于硬件噪声或者来自其他不可屏蔽中断的噪声（NMI）。 + + +如图所示： + + + + + +在一段时间内，采样线程不断的去循环读取TSC寄存器，在一个循环内会连续读取两次TSC寄存器。假设本次循环读取的时间分别为t1、t2，上次循环读取的时间为last\_t1、last\_t2。则： + + ++ t1与t2的时间之差，last\_t1、last\_t2的时间之差，称为inner\_latency。 ++ t1与last\_t2的时间之差，称为outer\_latency。 ++ tracing\_thresh为预设的阀值，如果观察到任何超过阀值的延迟就认为发生了噪声事件。 ++ 在hwlat中，会不断的计算inner\_latency和outer\_latency。然后将其值与预设的tracing\_thresh值进行对比，如果大于tracing\_thresh，就认为发生了噪声事件。 ++ 在hwlat采样期间，会同时追踪nmi中断事件。因此，观察到的任何超过阀值的延迟如果不是nmi造成的，那么就认为是hardware latency。 + + +### 1.3 osnoise实现 + + +前面我们介绍了hwlat的实现。简而言之，hwlat关闭irq、softirq、抢占等事件，通过不断的轮询TSC寄存器以及追踪NMI中断来探测延迟事件，观察到的任何延迟都是由NMI或者硬件造成的。 + + +osnoise的实现思想和hwlat类似，不过osnoise不会关闭irq、softirq、抢占等事件，而是在采样的同时追踪各类事件。在irq\_handler\_entry、irq\_handler\_exit、softirq\_entry、softirq\_exit、sched\_switch、nmi\_enter、nmi\_exit处也插入相应的钩子函数。进而统计出各类事件发生的次数以及持续时间。如果观测到的任意延迟不是由以上时间造成的，那么就认为是硬件噪声。 + + +## 二、osnoise tracer + + +### 2.1 配置文件 + + +osnoise在`/sys/kernel/debug/tracing/` 目录下有一系列可配置文件， 含义如下： + + +* **osnoise/cpus:** osnoise采样的目标cpu，默认是所有cpu。 +* **osnoise/period\_us:** osnoise线程的周期。默认是1000000ms，即1s。 +* **osnoise/runtime\_us:** osnoise线程在一个周期内的采样时间。默认是1000000ms,即1s。 +* **osnoise/stop\_tracing\_us:** 当单个噪声的最大值超过这个阀值时，停止采样。默认为0，即关闭该选项。 +* **osnoise/stop\_tracing\_total\_us:** 当总计噪声超过这个阀值时，停止采样。默认为0，即关闭该选项。 +* **tracing\_thresh**: 两次轮询TSC寄存器时间之差，被认为是噪声的最小值，单位为us。当配置为0时，默认设为5us。 + + +### 2.2 使用方法 + + +1. 将osnoise写入的current\_tracer： + + +`echo osnoise > /sys/kernel/debug/tracing/current_tracer` + + +2. 打开traceing\_on: + + +`echo 1 > /sys/kernel/debug/tracing/tracing_on` + + +3. 查看trace结果： + + +`cat /sys/kernel/debug/tracing/trace` + + + + + + + + +这里显示的是系统整体采样的结果各个字段的含义如下： + + +* TASK-PID：采样线程的PID。 +* CPU：采样的CPU ID +* TIMESTAMP：时间戳 +* RUNTIME IN US：采样时间，单位us +* NOISE IN US：本次采样时间内的总计噪声时间，单位us。 +* %OF CPU AVAILABLE：在一个RUNTIME周期内，采样线程可以获得的cpu利用率。 +* HW、NMI、IRQ、SIRQ、THREAD：分别表示各类噪声事件发生的次数。 + + +## 三、osnoise trace\_point + + +### 3.1 trace\_point + + +osnoise除了提供tracer外，还提供了一组trace\_points，以协助开发人员对噪声进行进一步分析。可以在`/sys/kernel/debug/tracing/events/osnoise/`看到相关tracepoint： + + +* **sample\_threshold:** 追踪任何高于阀值的噪声事件。阀值即为上文提到的tracing\_thresh，默认为5us。 +* **nmi\_noise:** nmi噪声，包含其持续时间。 +* **irq\_noise:** irq噪声，包含其持续时间。 +* **softirq\_noise:** softirq噪声，包含其持续时间 +* **thread\_noise:** 其他线程噪声，包含其持续时间 + + +### 3.2 使用方法 + + +前面我们已经介绍了osnoise tracer的使用，它可以让我们直观的看到整个系统级别的各种噪声事件的总和。如果我们像看到每种噪声或者是说指定噪声类型的事件的详细信息，就需要用到osnoise提供的trace\_point。 + + +打开trace\_point总开关: + + +`echo 1 > /sys/kernel/debug/tracing/events/osnoise/enable` + + +查看trace日志： + + +`cat /sys/kernel/debug/tracing/trace` + + +输出如下所示： + + + + + + +日志中包含了所有噪声的详细信息，包括其名字，开始事件，持续时间等等。关于其输出的具体格式可以查看对应trace\_point文件夹下的format文件。 + + +trace\_ponit文件位置在`/sys/kernel/debug/tracing/events/osnoise/`下。 + + +除了总开关外，每个事件有自己单独的开关，在对应tracepoint目录下。如irq\_noise的开关为`/sys/kernel/debug/tracing/events/osnoise/irq_noise/enable`。用户可以根据自己的需求只追踪相应的事件，从而过滤掉其他不需要关注的信息。 + + + + + diff --git "a/sig/AI/content/\345\206\205\346\240\270\350\260\203\346\265\213/...Pstore\345\211\215\347\253\257DMESG_\344\273\243\347\240\201\345\210\206\346\236\220.md" "b/sig/AI/content/\345\206\205\346\240\270\350\260\203\346\265\213/...Pstore\345\211\215\347\253\257DMESG_\344\273\243\347\240\201\345\210\206\346\236\220.md" new file mode 100644 index 0000000000000000000000000000000000000000..8682851da2ed6e492c8fcc12c8ac2331a1712193 --- /dev/null +++ "b/sig/AI/content/\345\206\205\346\240\270\350\260\203\346\265\213/...Pstore\345\211\215\347\253\257DMESG_\344\273\243\347\240\201\345\210\206\346\236\220.md" @@ -0,0 +1,211 @@ + + + +作者：新绎 + + + +## 写在前面 + + +pstore中提供了多种前端来实现捕获各种系统信息从而加以调试。这篇文章中，我们会对pstore其中之一的前端PSTORE\_DMESG进行分析，从原理上分析pstore如何获取当内核发生panic时kmsg信息。 + + +## Pstore注册kmsg\_dumper + + +kmsg\_dumper结构体有两个重要成员：回调函数`dump()`以及相应的`kmsg_dump_reason`。通过对`dump()`进行实现，我们就可以将相应的log信息保存到我们希望保存的地方，并且可以通过`kmsg_dump_reason`来对需要保存的信息进行筛选。 + + + +``` +//kmsg_dump.h +/** +* struct kmsg_dumper - kernel crash message dumper structure +* @list: Entry in the dumper list (private) +* @dump: Call into dumping code which will retrieve the data with +* through the record iterator +* @max_reason: filter for highest reason number that should be dumped +* @registered: Flag that specifies if this is already registered +*/ +struct kmsg_dumper { + struct list_head list; + void (*dump)(struct kmsg_dumper *dumper, enum kmsg_dump_reason reason); + enum kmsg_dump_reason max_reason; + bool active; + bool registered; + + /* private state of the kmsg iterator */ + u32 cur_idx; + u32 next_idx; + u64 cur_seq; + u64 next_seq; +}; + +/* + * Keep this list arranged in rough order of priority. Anything listed after + * KMSG_DUMP_OOPS will not be logged by default unless printk.always_kmsg_dump + * is passed to the kernel. + */ +enum kmsg_dump_reason { + KMSG_DUMP_UNDEF, + KMSG_DUMP_PANIC, + KMSG_DUMP_OOPS, + KMSG_DUMP_EMERG, + KMSG_DUMP_RESTART, + KMSG_DUMP_HALT, + KMSG_DUMP_POWEROFF, +}; +``` + + +我们可以看到，目前有7种定义的`kmsg\_dump\_reason`，而pstore则关心在系统出现panic时的log信息。在pstore的实现中，pstore通过`pstore\_cannot\_block\_path()`函数对相应的信息进行过滤。 + + + +``` +//pstore_cannot_block_path() +/* + * Should pstore_dump() wait for a concurrent pstore_dump()? If + * not, the current pstore_dump() will report a failure to dump + * and return. + */ +static bool pstore_cannot_block_path(enum kmsg_dump_reason reason) +{ + /* In NMI path, pstore shouldn't block regardless of reason. */ + if (in_nmi()) + return true; + + switch (reason) { + /* In panic case, other cpus are stopped by smp_send_stop(). */ + case KMSG_DUMP_PANIC: + /* Emergency restart shouldn't be blocked. */ + case KMSG_DUMP_EMERG: + return true; + default: + return false; + } +} +``` + + +其中dmesg前端的主要工作就是为其实现一个`dump()`函数，该函数将从log buffer中读取log信息，然后将其封装为recored之后写入对应的后端设备，其主要定义如下： + + + +``` +//pstore_dump() +static struct kmsg_dumper pstore_dumper = { + .dump = pstore_dump, +} + +static void pstore_dump(struct kmsg_dumper *dumper, + enum kmsg_dump_reason reason) +{ + … + while (total < kmsg_bytes) { + … + pstore_record_init(&record, psinfo); + … + header_size = snprintf(dst, dst_size, "%s#%d Part%u\n", why, + oopscount, part); + dst_size -= header_size; + + if (!kmsg_dump_get_buffer(&iter, true, dst + header_size, + dst_size, &dump_size)) + break; + + if (big_oops_buf) { + zipped_len = pstore_compress(dst, psinfo->buf, + header_size + dump_size, + psinfo->bufsize); + … + } else { + record.size = header_size + dump_size; + } + + ret = psinfo->write(&record); + … + } + … +} + +``` + + +## kmsg\_dump实现 + + +printk实现了一个`kmsg\_dump()`函数，用于方便其它模块dump内核的log buffer，当内核发生oops、panic或重启等事件时，都会调用该函数dump log信息。其代码实现如下： + + + +``` +void kmsg_dump(enum kmsg_dump_reason reason) +{ + … + list_for_each_entry_rcu(dumper, &dump_list, list) { + enum kmsg_dump_reason max_reason = dumper->max_reason; + + if (max_reason == KMSG_DUMP_UNDEF) { + max_reason = always_kmsg_dump ? KMSG_DUMP_MAX : + KMSG_DUMP_OOPS; + } + if (reason > max_reason) + continue; + + dumper->dump(dumper, reason); + } + rcu_read_unlock(); +} +``` + + +使用`kmsg\_dump()`之前要先使用`kmsg\_dump\_register()`来注册一个dumper，用于实际的log写操作。 + + +我们先来看看`kmsg\_dump\_register`的定义，只定义了一个dump\_list，将系统中所有注册的dump都挂在同一个list下，这就说明系统可以注册多个dumper。 + + + +``` +int kmsg_dump_register(struct kmsg_dumper *dumper) +{ + … + if (!dumper->registered) { + dumper->registered = 1; + list_add_tail_rcu(&dumper->list, &dump_list); + err = 0; + } + … +} +``` + + +## 总结 + + +pstore dmesg主要工作流程如下： + + +（1）初始化一个record结构体 + + +（2）先向其写入pstore头信息，如dmesg reason、oops发生次数等 + + +（3）从log buffer中读取一行log信息 + + +（4）若需要压缩信息，则执行压缩操作 + + +（5）调用后端的写函数，将record写入相应的后端设备 + + +加点内容 +算22332 + + + + diff --git "a/sig/AI/content/\345\206\205\346\240\270\350\260\203\346\265\213/Ftrace_osnoise_\344\273\243\347\240\201\345\210\206\346\236\220.md" "b/sig/AI/content/\345\206\205\346\240\270\350\260\203\346\265\213/Ftrace_osnoise_\344\273\243\347\240\201\345\210\206\346\236\220.md" new file mode 100644 index 0000000000000000000000000000000000000000..d8d8d5f7ea67371721d640d941991d8ea0ad4191 --- /dev/null +++ "b/sig/AI/content/\345\206\205\346\240\270\350\260\203\346\265\213/Ftrace_osnoise_\344\273\243\347\240\201\345\210\206\346\236\220.md" @@ -0,0 +1,641 @@ + + + +前面一篇文章中，我们简要的介绍了一下osnoise的相关信息，本篇文章主要针对其源代码进行分析阐述。 + + + +# 一、数据结构： + + + +``` +/* + * NMI runtime info. + */ +struct osn_nmi { + u64 count; + u64 delta_start; +}; + +/* + * IRQ runtime info. + */ +struct osn_irq { + u64 count; + u64 arrival_time; + u64 delta_start; +}; + +#define IRQ_CONTEXT 0 +#define THREAD_CONTEXT 1 +/* + * sofirq runtime info. + */ +struct osn_softirq { + u64 count; + u64 arrival_time; + u64 delta_start; +}; + +/* + * thread runtime info. + */ +struct osn_thread { + u64 count; + u64 arrival_time; + u64 delta_start; +}; + +/* + * Runtime information: this structure saves the runtime information used by + * one sampling thread. + */ +struct osnoise_variables { + struct task_struct *kthread; + bool sampling; + pid_t pid; + struct osn_nmi nmi; + struct osn_irq irq; + struct osn_softirq softirq; + struct osn_thread thread; + local_t int_counter; +}; +``` + + +osnoise用来记录结果的主要数据结构为`struct osnoise_variables`其中： + + ++ `struct task_struct *kthread`：采样线程的tcb。 ++ `bool sampling`：采样开关 ++ `pit_t pid`：采样线程的pid ++ `struct osn_nmi nmi`：保存nmi噪声的相关信息 ++ `struct osn_irq irq`：保存irq噪声的相关信息 ++ `struct osn_softiq softirq`：保存softirq噪声的相关信息 ++ `struct osn_thread thread`：保存其他线程噪声的相关信息 ++ `local_t int_counter`：保存噪声的总次数 + + + +# 二、工作原理： + + +## 2.1 注册trace\_point + + +如第一篇文章所述，osnoise引入了一组trace\_point。通过这些trace\_point，开发人员可以获取噪声的详细信息。注册trace\_point的代码如下（以irq\_noise为例）： + + + +``` +TRACE_EVENT(irq_noise, + + TP_PROTO(int vector, const char *desc, u64 start, u64 duration), + + TP_ARGS(vector, desc, start, duration), + + TP_STRUCT__entry( + __field( u64, start ) + __field( u64, duration) + __string( desc, desc ) + __field( int, vector ) + + ), + + TP_fast_assign( + __assign_str(desc, desc); + __entry->vector = vector; + __entry->start = start; + __entry->duration = duration; + ), + + TP_printk("%s:%d start %llu.%09u duration %llu ns", + __get_str(desc), + __entry->vector, + __print_ns_to_secs(__entry->start), + __print_ns_without_secs(__entry->start), + __entry->duration) +); +``` + + +关于trace\_point这里我们不做过多介绍，感兴趣的读者可以去内核文件`include/trace/events/osnoise.h`下查看相应源代码。 + + +## 2.2 注册osnoise tracer + + +这部分主要是涉及到osnoise的初始化过程，该过程主要就是将osnoise注册近ftrace中并且初始化相关的tracefs。注册的过程通过`register_tracer(&osnoise_tracer)`实现。 + + + +``` +static struct tracer osnoise_tracer __read_mostly = { + .name = "osnoise", + .init = osnoise_tracer_init, + .reset = osnoise_tracer_reset, + .start = osnoise_tracer_start, + .stop = osnoise_tracer_stop, + .print_header = print_osnoise_headers, + .allow_instances = true, +}; +``` + + +## 2.3 注册tracepoint钩子函数： + + +osnoise 统计信息的方式就是通过在相应的tracepoint中注册钩子函数。因此这部分即是osnoise的核心部分，本篇文章将重点分析该模块。 + + +osnoise首先会将各种事件的钩子函数插入对应的tracepoint中，这一动作由`osnoise_hook_events()`函数执行，将该函数裁剪后如下： + + + +``` +static int osnoise_hook_events(void) +{ + ... + retval = hook_irq_events(); + ... + retval = hook_softirq_events(); + ... + retval = hook_thread_events(); + ... +} +``` + + +该函数主要是针对irq、softirq、thread事件插入一些采样函数。 + + +### hook\_irq\_events + + +hook\_irq\_events()主要是实现对irq事件的统计。如下： + + + +``` +static int hook_irq_events(void) +{ + ... + ret = register_trace_irq_handler_entry(trace_irqentry_callback, NULL); + ... + ret = register_trace_irq_handler_exit(trace_irqexit_callback, NULL); + ... +} +``` + + +主要是在irq\_handler\_entry 和 irq\_handler\_exit处插入相应的处理函数。最终插入的处理函数为osnoise\_trace\_irq\_entry() 和 osnoise\_trace\_irq\_exit()。 + + + +``` +void osnoise_trace_irq_entry(int id) +{ + struct osnoise_variables *osn_var = this_cpu_osn_var(); + + if (!osn_var->sampling) + return; + + osn_var->irq.arrival_time = time_get(); + set_int_safe_time(osn_var, &osn_var->irq.delta_start); + osn_var->irq.count++; + + local_inc(&osn_var->int_counter); +} +void osnoise_trace_irq_exit(int id, const char *desc) +{ + struct osnoise_variables *osn_var = this_cpu_osn_var(); + int duration; + + if (!osn_var->sampling) + return; + + duration = get_int_safe_duration(osn_var, &osn_var->irq.delta_start); + trace_irq_noise(id, desc, osn_var->irq.arrival_time, duration); + osn_var->irq.arrival_time = 0; + cond_move_softirq_delta_start(osn_var, duration); + cond_move_thread_delta_start(osn_var, duration); +} +``` + + +在irq handler的入口处插入的函数为osnoise\_trace\_irq\_entry，分析该函数： + + ++ 在irq.arrival\_time中记录本次irq事件的开始时间。 ++ 在irq.delta\_start中记录本次irq事件的准确开始时间。 ++ irq噪声事件的次数+1。 ++ 噪声事件总体次数+1。 + + +在这里我们发现，除了在irq.arrival\_time中记录了一个irq开始时间之外，还通过set\_int\_safe\_time函数在 irq.delta\_start中都记录了一个开始时间。那么他们之间有什么区别呢？在这里我们先按下不表，后文会对其进行解释分析。 + + +在irq handler的出口处插入的函数为osnoise\_trace\_irq\_exit，该函数的主要作用： + + ++ 根据之前记录的osn\_var->irq.delta\_start计算出本次irq事件的持续时间。 ++ 调用trace\_irq\_noise将本次irq事件的**中断号，中断名称、开始时间、持续时间**放到ftrace的ringbuffer中。 ++ 清空osn\_var->irq.arrival\_time 表示此次irq事件结束。 + + +我们注意到在该函数的末尾处有cond\_move\_softirq\_delta\_start 以及 cond\_move\_thread\_delta\_start函数。其实形如此类的函数一共有三个： + + ++ cond\_move\_irq\_delta\_start ++ cond\_move\_softirq\_delta\_start ++ cond\_move\_thread\_delta\_start + + +函数的形式都是一样的，我们以 cond\_move\_softirq\_delta\_start()为例： + + + +``` +static inline void +cond_move_softirq_delta_start(struct osnoise_variables *osn_var, u64 duration) +{ + if (osn_var->softirq.delta_start) + osn_var->softirq.delta_start += duration; +} +``` + + ++ 这个函数会在osnoise\_trace\_irq\_exit、trace\_osnoise\_callback中调用，前者我们知道是irq事件退出时的钩子函数，而后者则是nmi事件的钩子函数。 ++ 可以看到该函数的主要功能是将softirq.delta\_start的开始时间推后一个duration。 + + +换句话说，这个函数是为了校准低优先级事件的开始时间。以下图为例： + + ++ 在t1时刻进入了softirq，此时记录**softirq.arrival\_time = t1**,**softirq.delta\_time = t1**。 ++ 然后在t2时刻，来了一个irq抢占了softirq，进入irq的执行函数。 ++ t3时刻离开irq执行完毕继续执行softirq。irq执行时间**duration = t3-t2**。同时调用cond\_move\_softirq\_delta\_start，更新softirq开始时间**softirq.delta\_start += duration;** ++ 在t4时刻softirq执行完毕退出。 + + +那么本次softirq的持续时间实际上应该是t4 - (t1 + duration) = t4 - **softirq.delta\_start。** + + + + +因此，需要高优先级的对低优先级的事件的时间进行校准。 + + ++ 对于nmi事件，需要调用 + + +- cond\_move\_irq\_delta\_start +- cond\_move\_softirq\_delta\_start +- cond\_move\_thread\_delta\_start + + ++ 对于irq事件，需要调用 + + +- cond\_move\_softirq\_delta\_start +- cond\_move\_thread\_delta\_start + + ++ 对于softirq事件，需要调用 + + +- cond\_move\_thread\_delta\_start + + +### hook\_softirq\_events + + +与irq的钩子函数一样，需要注册tracepoint softirq\_entry、softirq\_exit的钩子函数。最终注册的钩子函数如下： + + + +``` +static void trace_softirq_entry_callback(void *data, unsigned int vec_nr) +{ + struct osnoise_variables *osn_var = this_cpu_osn_var(); + + if (!osn_var->sampling) + return; + + osn_var->softirq.arrival_time = time_get(); + set_int_safe_time(osn_var, &osn_var->softirq.delta_start); + osn_var->softirq.count++; + + local_inc(&osn_var->int_counter); +} +static void trace_softirq_exit_callback(void *data, unsigned int vec_nr) +{ + struct osnoise_variables *osn_var = this_cpu_osn_var(); + int duration; + + if (!osn_var->sampling) + return; + + if (unlikely(timerlat_enabled())) + if (!timerlat_softirq_exit(osn_var)) + return; + + duration = get_int_safe_duration(osn_var, &osn_var->softirq.delta_start); + trace_softirq_noise(vec_nr, osn_var->softirq.arrival_time, duration); + cond_move_thread_delta_start(osn_var, duration); + osn_var->softirq.arrival_time = 0; +} +``` + + +可以发现对softirq的统计方式与对irq的统计方式一摸一样，在这里我们便不做详细分析，读者可以参考上面对hook\_irq\_events()的分析。 + + +### hook\_thread\_events + + +osnoise通过在tracepoint sched\_switch注册钩子函数，来统计thread noise。函数如下所示： + + + +``` +static void +trace_sched_switch_callback(void *data, bool preempt, + struct task_struct *p, + struct task_struct *n, + unsigned int prev_state) +{ + struct osnoise_variables *osn_var = this_cpu_osn_var(); + + if (p->pid != osn_var->pid) + thread_exit(osn_var, p); + + if (n->pid != osn_var->pid) + thread_entry(osn_var, n); +} +static void +thread_entry(struct osnoise_variables *osn_var, struct task_struct *t) +{ + if (!osn_var->sampling) + return; + /* + * The arrival time will be used in the report, but not to compute + * the execution time, so it is safe to get it unsafe. + */ + osn_var->thread.arrival_time = time_get(); + + set_int_safe_time(osn_var, &osn_var->thread.delta_start); + + osn_var->thread.count++; + local_inc(&osn_var->int_counter); +} +static void +thread_exit(struct osnoise_variables *osn_var, struct task_struct *t) +{ + int duration; + + if (!osn_var->sampling) + return; + + if (unlikely(timerlat_enabled())) + if (!timerlat_thread_exit(osn_var)) + return; + + duration = get_int_safe_duration(osn_var, &osn_var->thread.delta_start); + + trace_thread_noise(t, osn_var->thread.arrival_time, duration); + + osn_var->thread.arrival_time = 0; +} +``` + + +sched\_switch()为线程切换的核心函数，在该trace\_sched\_switch函数中的p表示前一个线程，n表示下一个要执行的线程，即从线程p切换到线程n。 + + +此时存在三种情况： + + ++ 从采样线程切换到其他线程 + + +- 执行thread\_entry()函数，标志一个噪声的进入 + + ++ 从其他线程切换到采样线程 + + +- 执行thread\_exit()函数，标志上一个噪声的结束 + + ++ 从其他线程切换到其他线程 + + +- 先执行thread\_exit()函数，标志上一个噪声的结束 +- 再执行thread\_entry()函数，标志下一个噪声的进入 + + +换句话说，该钩子函数会统计除了采样线程外其他所有线程执行的时间。其中thread\_entry()和thread\_exit（）的具体实现与上面对irq事件统计的函数实现类似，此处不再过多赘述。 + + +### nmi\_events + + +对于NMI事件的统计比较特殊，在ftrace\_nmi\_enter和ftrace\_nmi\_exit中直接调用trace\_osnoise\_callback获取nmi noise，并且调用trace\_nmi\_noise将duration放到ftrace的ringbuffer中。 + + + +``` +static inline void ftrace_nmi_exit(void) +{ + ... + if (trace_osnoise_callback_enabled) + trace_osnoise_callback(false); + ... +} +static inline void ftrace_nmi_exit(void) +{ + ... + if (trace_osnoise_callback_enabled) + trace_osnoise_callback(false); + ... +} +void trace_osnoise_callback(bool enter) +{ + struct osnoise_variables *osn_var = this_cpu_osn_var(); + u64 duration; + + if (!osn_var->sampling) + return; + + /* + * Currently trace_clock_local() calls sched_clock() and the + * generic version is not NMI safe. + */ + if (!IS_ENABLED(CONFIG_GENERIC_SCHED_CLOCK)) { + if (enter) { + osn_var->nmi.delta_start = time_get(); + local_inc(&osn_var->int_counter); + } else { + duration = time_get() - osn_var->nmi.delta_start; + + trace_nmi_noise(osn_var->nmi.delta_start, duration); + + cond_move_irq_delta_start(osn_var, duration); + cond_move_softirq_delta_start(osn_var, duration); + cond_move_thread_delta_start(osn_var, duration); + } + } + + if (enter) + osn_var->nmi.count++; +} +``` + + +主要函数为trace\_osnoise\_callback(bool enter)，该函数通过一个bool值来判断当前是进入nmi中断还是退出nmi中断，进而进行相应的处理，统计方法和其他事件统计方法一直。可以看到在NMI的钩子函数中，会调用到 + + ++ cond\_move\_irq\_delta\_start(osn\_var, duration); ++ cond\_move\_softirq\_delta\_start(osn\_var, duration); ++ cond\_move\_softirq\_delta\_start(osn\_var, duration); + + +这三个函数去校准其他低优先级事件的统计。与我们之前的分析一致。 + + +## 2.4 采样 + + +上面介绍了osnoise对各类事件采样的方法，接下来，我们分析一下osnoise的采样流程。osnoise开始采样的函数调用流程为osnoise\_tracer\_start->osnoise\_workload\_start->start\_per\_cpu\_kthreads->start\_kthread->osnoise\_main->run\_osnoise。 + + + +采样的核心函数为run\_osnoise，将代码裁剪后如下： + + + +``` +static int run_osnoise(void) +{ + ... + + threshold = tracing_thresh ? : 5000; + + osn_var->sampling = true; + + runtime = osnoise_data.sample_runtime * NSEC_PER_USEC; + + stop_in = osnoise_data.stop_tracing * NSEC_PER_USEC; + + start = time_get(); + + last_int_count = set_int_safe_time(osn_var, &last_sample); + + do { + + int_count = set_int_safe_time(osn_var, &sample); + + noise = time_sub(sample, last_sample); + + total = time_sub(sample, start); + + if (total < last_total) { + osnoise_taint("total overflow!"); + break; + } + + last_total = total; + + if (noise >= threshold) { + int interference = int_count - last_int_count; + + if (noise > max_noise) + max_noise = noise; + + if (!interference) + hw_count++; + + sum_noise += noise; + + trace_sample_threshold(last_sample, noise, interference); + + if (osnoise_data.stop_tracing) + if (noise > stop_in) + osnoise_stop_tracing(); + } + + last_sample = sample; + last_int_count = int_count; + + } while (total < runtime && !kthread_should_stop()); + + osn_var->sampling = false; + + ... +} +``` + + + +分析采样函数的主体逻辑流程图如下所示： + + + + + +即通过不断的轮询TSC寄存器，将每次轮询的间隙与预设的threshold进行对比，判断是否发生噪声，如果发生了噪声且噪声不是由其他可测量事件所造成的，就认为发生了硬件噪声。 + + +其中： + + +* threshold ：两次轮询TSC寄存器时间之差，被认为是噪声的最小值，默认设为5us。 +* osn\_var->sampling：标志位，标志是否开启采样。 +* runtime：预设的本次采样时间。 +* start ：记录本次采样开始的时间 +* last\_sample ： 记录上次读取tsc寄存器的值 +* sample ： 记录本次读取tsc寄存器的值 +* noise = time\_sub(sample, last\_sample) ： 计算本次和上次轮询tsc寄存器的时间之差。 +* total ：记录从采样开始到现在所经历的时间 +* 如果noise >= threshold，则视为发生了噪声，进行统计计算 + + ++ max\_noise： 记录最大的单个噪声值 ++ interference： 记录本次噪声内事件发生的次数，如果为0则代表是硬件噪声。 ++ hw\_count: 记录硬件噪声的次数，当interference为0时，增加。 + + +* 轮询tsc寄存器，直到total>=runtime，结束本次采样。 + + + +# 三、小结 + + +以上便是对osnoise的代码分析。osnoise就是站在一个普通进程的视角上，统计所有会打断他的事件，包含irq、softirq、nmi、thread、hw。 + + +对于前四种事件内核中都提供了相应的tracepoint，只需要注册相应的回掉函数到tracepoint中即可统计到相关的信息。而hw无法被直接统计测量，因此在osnoise中就通过不断的轮询tsc寄存器，将任意两次轮询的差值与threshold进行比较，如果大于threshold就认为发生了噪声，当发生噪声时如果其他四个事件都未发生就认为发生了硬件延迟。 + + +由于irq、softirq、nmi、thread都有相应的tracepoint可以供我们使用，在不考虑hw的情况下我们其实可以直接在用户态实现相关信息的采集。下篇文章我们会尝试在用户态，利用bcc通过动态插桩的方式来实现一个简单的osnoise背景噪声统计工具。 + + + + + + + + + + + + + + + + + + diff --git "a/sig/AI/content/\345\206\205\346\240\270\350\260\203\346\265\213/Ftrace_osnoise_\346\200\273\350\247\210.md" "b/sig/AI/content/\345\206\205\346\240\270\350\260\203\346\265\213/Ftrace_osnoise_\346\200\273\350\247\210.md" new file mode 100644 index 0000000000000000000000000000000000000000..782c9a33160ade07820bfa6300aa0fd6cc5779c9 --- /dev/null +++ "b/sig/AI/content/\345\206\205\346\240\270\350\260\203\346\265\213/Ftrace_osnoise_\346\200\273\350\247\210.md" @@ -0,0 +1,179 @@ + + + +# Ftrace: osnoise 总览 + + + + + + + + + + + +## 一、osnoise是什么？ + + + + +在linux系统中，一个普通线程在执行过程中会被各种各样的事件所干扰打断，如NMI、IRQ、SOFTIRQ、来自硬件的干扰以及来自其他线程的干扰。这些事件对于一个普通线程来说，就相当于噪声一样的存在。在Linux 5.14-rc1中，引入了一个新的tracer——osnoise tracer。osnoise从一个线程的视角出发，统计出所有对他有干扰的噪声,进而协助开发人员分析系统背景噪声情况。 + + +### 1.1 噪声分类 + + +在osnoise tracer中，将统计的噪声分为了以下五个大类： + + ++ IRQ：硬中断 ++ SOFTIRQ：软中断 ++ NMI：不可屏蔽中断 ++ HW：来自硬件的噪声。 ++ THREAD：来自其他线程的影响。 + + +其中，HW（hardware latency）表示某些底层硬件或者固件的行为引起的大型系统延迟。在Ftrace中，有一个名为hwlat\_detector的tracer，它的主要目的就是用来检测硬件噪声。osnoise的设计思想借鉴了hwlat\_detector。 + + +### 1.2 hwlat + + +hwlat\_detector的工作原理简单来说就是在一段时间内，关闭irq、softirq以及抢占，然后不断的去轮询TSC（Time Stamp Counter）寄存器的值。由于关闭了中断及抢占，任意两次读取之间的间隙都是由于硬件噪声或者来自其他不可屏蔽中断的噪声（NMI）。 + + +如图所示： + + + + + +在一段时间内，采样线程不断的去循环读取TSC寄存器，在一个循环内会连续读取两次TSC寄存器。假设本次循环读取的时间分别为t1、t2，上次循环读取的时间为last\_t1、last\_t2。则： + + ++ t1与t2的时间之差，last\_t1、last\_t2的时间之差，称为inner\_latency。 ++ t1与last\_t2的时间之差，称为outer\_latency。 ++ tracing\_thresh为预设的阀值，如果观察到任何超过阀值的延迟就认为发生了噪声事件。 ++ 在hwlat中，会不断的计算inner\_latency和outer\_latency。然后将其值与预设的tracing\_thresh值进行对比，如果大于tracing\_thresh，就认为发生了噪声事件。 ++ 在hwlat采样期间，会同时追踪nmi中断事件。因此，观察到的任何超过阀值的延迟如果不是nmi造成的，那么就认为是hardware latency。 + + +### 1.3 osnoise实现 + + +前面我们介绍了hwlat的实现。简而言之，hwlat关闭irq、softirq、抢占等事件，通过不断的轮询TSC寄存器以及追踪NMI中断来探测延迟事件，观察到的任何延迟都是由NMI或者硬件造成的。 + + +osnoise的实现思想和hwlat类似，不过osnoise不会关闭irq、softirq、抢占等事件，而是在采样的同时追踪各类事件。在irq\_handler\_entry、irq\_handler\_exit、softirq\_entry、softirq\_exit、sched\_switch、nmi\_enter、nmi\_exit处也插入相应的钩子函数。进而统计出各类事件发生的次数以及持续时间。如果观测到的任意延迟不是由以上时间造成的，那么就认为是硬件噪声。 + + +## 二、osnoise tracer + + +### 2.1 配置文件 + + +osnoise在`/sys/kernel/debug/tracing/` 目录下有一系列可配置文件， 含义如下： + + +* **osnoise/cpus:** osnoise采样的目标cpu，默认是所有cpu。 +* **osnoise/period\_us:** osnoise线程的周期。默认是1000000ms，即1s。 +* **osnoise/runtime\_us:** osnoise线程在一个周期内的采样时间。默认是1000000ms,即1s。 +* **osnoise/stop\_tracing\_us:** 当单个噪声的最大值超过这个阀值时，停止采样。默认为0，即关闭该选项。 +* **osnoise/stop\_tracing\_total\_us:** 当总计噪声超过这个阀值时，停止采样。默认为0，即关闭该选项。 +* **tracing\_thresh**: 两次轮询TSC寄存器时间之差，被认为是噪声的最小值，单位为us。当配置为0时，默认设为5us。 + + +### 2.2 使用方法 + + +1. 将osnoise写入的current\_tracer： + + +`echo osnoise > /sys/kernel/debug/tracing/current_tracer` + + +2. 打开traceing\_on: + + +`echo 1 > /sys/kernel/debug/tracing/tracing_on` + + +3. 查看trace结果： + + +`cat /sys/kernel/debug/tracing/trace` + + + + + + + + +这里显示的是系统整体采样的结果各个字段的含义如下： + + +* TASK-PID：采样线程的PID。 +* CPU：采样的CPU ID +* TIMESTAMP：时间戳 +* RUNTIME IN US：采样时间，单位us +* NOISE IN US：本次采样时间内的总计噪声时间，单位us。 +* %OF CPU AVAILABLE：在一个RUNTIME周期内，采样线程可以获得的cpu利用率。 +* HW、NMI、IRQ、SIRQ、THREAD：分别表示各类噪声事件发生的次数。 + + +## 三、osnoise trace\_point + + +### 3.1 trace\_point + + +osnoise除了提供tracer外，还提供了一组trace\_points，以协助开发人员对噪声进行进一步分析。可以在`/sys/kernel/debug/tracing/events/osnoise/`看到相关tracepoint： + + +* **sample\_threshold:** 追踪任何高于阀值的噪声事件。阀值即为上文提到的tracing\_thresh，默认为5us。 +* **nmi\_noise:** nmi噪声，包含其持续时间。 +* **irq\_noise:** irq噪声，包含其持续时间。 +* **softirq\_noise:** softirq噪声，包含其持续时间 +* **thread\_noise:** 其他线程噪声，包含其持续时间 + + +### 3.2 使用方法 + + +前面我们已经介绍了osnoise tracer的使用，它可以让我们直观的看到整个系统级别的各种噪声事件的总和。如果我们像看到每种噪声或者是说指定噪声类型的事件的详细信息，就需要用到osnoise提供的trace\_point。 + + +打开trace\_point总开关: + + +`echo 1 > /sys/kernel/debug/tracing/events/osnoise/enable` + + +查看trace日志： + + +`cat /sys/kernel/debug/tracing/trace` + + +输出如下所示： + + + + + + +日志中包含了所有噪声的详细信息，包括其名字，开始事件，持续时间等等。关于其输出的具体格式可以查看对应trace\_point文件夹下的format文件。 + + +trace\_ponit文件位置在`/sys/kernel/debug/tracing/events/osnoise/`下。 + + +除了总开关外，每个事件有自己单独的开关，在对应tracepoint目录下。如irq\_noise的开关为`/sys/kernel/debug/tracing/events/osnoise/irq_noise/enable`。用户可以根据自己的需求只追踪相应的事件，从而过滤掉其他不需要关注的信息。 + + + + + diff --git "a/sig/AI/content/\345\206\205\346\240\270\350\260\203\346\265\213/Ftrace\357\274\232_osnoise_\344\273\243\347\240\201\345\210\206\346\236\220.md" "b/sig/AI/content/\345\206\205\346\240\270\350\260\203\346\265\213/Ftrace\357\274\232_osnoise_\344\273\243\347\240\201\345\210\206\346\236\220.md" new file mode 100644 index 0000000000000000000000000000000000000000..d8d8d5f7ea67371721d640d941991d8ea0ad4191 --- /dev/null +++ "b/sig/AI/content/\345\206\205\346\240\270\350\260\203\346\265\213/Ftrace\357\274\232_osnoise_\344\273\243\347\240\201\345\210\206\346\236\220.md" @@ -0,0 +1,641 @@ + + + +前面一篇文章中，我们简要的介绍了一下osnoise的相关信息，本篇文章主要针对其源代码进行分析阐述。 + + + +# 一、数据结构： + + + +``` +/* + * NMI runtime info. + */ +struct osn_nmi { + u64 count; + u64 delta_start; +}; + +/* + * IRQ runtime info. + */ +struct osn_irq { + u64 count; + u64 arrival_time; + u64 delta_start; +}; + +#define IRQ_CONTEXT 0 +#define THREAD_CONTEXT 1 +/* + * sofirq runtime info. + */ +struct osn_softirq { + u64 count; + u64 arrival_time; + u64 delta_start; +}; + +/* + * thread runtime info. + */ +struct osn_thread { + u64 count; + u64 arrival_time; + u64 delta_start; +}; + +/* + * Runtime information: this structure saves the runtime information used by + * one sampling thread. + */ +struct osnoise_variables { + struct task_struct *kthread; + bool sampling; + pid_t pid; + struct osn_nmi nmi; + struct osn_irq irq; + struct osn_softirq softirq; + struct osn_thread thread; + local_t int_counter; +}; +``` + + +osnoise用来记录结果的主要数据结构为`struct osnoise_variables`其中： + + ++ `struct task_struct *kthread`：采样线程的tcb。 ++ `bool sampling`：采样开关 ++ `pit_t pid`：采样线程的pid ++ `struct osn_nmi nmi`：保存nmi噪声的相关信息 ++ `struct osn_irq irq`：保存irq噪声的相关信息 ++ `struct osn_softiq softirq`：保存softirq噪声的相关信息 ++ `struct osn_thread thread`：保存其他线程噪声的相关信息 ++ `local_t int_counter`：保存噪声的总次数 + + + +# 二、工作原理： + + +## 2.1 注册trace\_point + + +如第一篇文章所述，osnoise引入了一组trace\_point。通过这些trace\_point，开发人员可以获取噪声的详细信息。注册trace\_point的代码如下（以irq\_noise为例）： + + + +``` +TRACE_EVENT(irq_noise, + + TP_PROTO(int vector, const char *desc, u64 start, u64 duration), + + TP_ARGS(vector, desc, start, duration), + + TP_STRUCT__entry( + __field( u64, start ) + __field( u64, duration) + __string( desc, desc ) + __field( int, vector ) + + ), + + TP_fast_assign( + __assign_str(desc, desc); + __entry->vector = vector; + __entry->start = start; + __entry->duration = duration; + ), + + TP_printk("%s:%d start %llu.%09u duration %llu ns", + __get_str(desc), + __entry->vector, + __print_ns_to_secs(__entry->start), + __print_ns_without_secs(__entry->start), + __entry->duration) +); +``` + + +关于trace\_point这里我们不做过多介绍，感兴趣的读者可以去内核文件`include/trace/events/osnoise.h`下查看相应源代码。 + + +## 2.2 注册osnoise tracer + + +这部分主要是涉及到osnoise的初始化过程，该过程主要就是将osnoise注册近ftrace中并且初始化相关的tracefs。注册的过程通过`register_tracer(&osnoise_tracer)`实现。 + + + +``` +static struct tracer osnoise_tracer __read_mostly = { + .name = "osnoise", + .init = osnoise_tracer_init, + .reset = osnoise_tracer_reset, + .start = osnoise_tracer_start, + .stop = osnoise_tracer_stop, + .print_header = print_osnoise_headers, + .allow_instances = true, +}; +``` + + +## 2.3 注册tracepoint钩子函数： + + +osnoise 统计信息的方式就是通过在相应的tracepoint中注册钩子函数。因此这部分即是osnoise的核心部分，本篇文章将重点分析该模块。 + + +osnoise首先会将各种事件的钩子函数插入对应的tracepoint中，这一动作由`osnoise_hook_events()`函数执行，将该函数裁剪后如下： + + + +``` +static int osnoise_hook_events(void) +{ + ... + retval = hook_irq_events(); + ... + retval = hook_softirq_events(); + ... + retval = hook_thread_events(); + ... +} +``` + + +该函数主要是针对irq、softirq、thread事件插入一些采样函数。 + + +### hook\_irq\_events + + +hook\_irq\_events()主要是实现对irq事件的统计。如下： + + + +``` +static int hook_irq_events(void) +{ + ... + ret = register_trace_irq_handler_entry(trace_irqentry_callback, NULL); + ... + ret = register_trace_irq_handler_exit(trace_irqexit_callback, NULL); + ... +} +``` + + +主要是在irq\_handler\_entry 和 irq\_handler\_exit处插入相应的处理函数。最终插入的处理函数为osnoise\_trace\_irq\_entry() 和 osnoise\_trace\_irq\_exit()。 + + + +``` +void osnoise_trace_irq_entry(int id) +{ + struct osnoise_variables *osn_var = this_cpu_osn_var(); + + if (!osn_var->sampling) + return; + + osn_var->irq.arrival_time = time_get(); + set_int_safe_time(osn_var, &osn_var->irq.delta_start); + osn_var->irq.count++; + + local_inc(&osn_var->int_counter); +} +void osnoise_trace_irq_exit(int id, const char *desc) +{ + struct osnoise_variables *osn_var = this_cpu_osn_var(); + int duration; + + if (!osn_var->sampling) + return; + + duration = get_int_safe_duration(osn_var, &osn_var->irq.delta_start); + trace_irq_noise(id, desc, osn_var->irq.arrival_time, duration); + osn_var->irq.arrival_time = 0; + cond_move_softirq_delta_start(osn_var, duration); + cond_move_thread_delta_start(osn_var, duration); +} +``` + + +在irq handler的入口处插入的函数为osnoise\_trace\_irq\_entry，分析该函数： + + ++ 在irq.arrival\_time中记录本次irq事件的开始时间。 ++ 在irq.delta\_start中记录本次irq事件的准确开始时间。 ++ irq噪声事件的次数+1。 ++ 噪声事件总体次数+1。 + + +在这里我们发现，除了在irq.arrival\_time中记录了一个irq开始时间之外，还通过set\_int\_safe\_time函数在 irq.delta\_start中都记录了一个开始时间。那么他们之间有什么区别呢？在这里我们先按下不表，后文会对其进行解释分析。 + + +在irq handler的出口处插入的函数为osnoise\_trace\_irq\_exit，该函数的主要作用： + + ++ 根据之前记录的osn\_var->irq.delta\_start计算出本次irq事件的持续时间。 ++ 调用trace\_irq\_noise将本次irq事件的**中断号，中断名称、开始时间、持续时间**放到ftrace的ringbuffer中。 ++ 清空osn\_var->irq.arrival\_time 表示此次irq事件结束。 + + +我们注意到在该函数的末尾处有cond\_move\_softirq\_delta\_start 以及 cond\_move\_thread\_delta\_start函数。其实形如此类的函数一共有三个： + + ++ cond\_move\_irq\_delta\_start ++ cond\_move\_softirq\_delta\_start ++ cond\_move\_thread\_delta\_start + + +函数的形式都是一样的，我们以 cond\_move\_softirq\_delta\_start()为例： + + + +``` +static inline void +cond_move_softirq_delta_start(struct osnoise_variables *osn_var, u64 duration) +{ + if (osn_var->softirq.delta_start) + osn_var->softirq.delta_start += duration; +} +``` + + ++ 这个函数会在osnoise\_trace\_irq\_exit、trace\_osnoise\_callback中调用，前者我们知道是irq事件退出时的钩子函数，而后者则是nmi事件的钩子函数。 ++ 可以看到该函数的主要功能是将softirq.delta\_start的开始时间推后一个duration。 + + +换句话说，这个函数是为了校准低优先级事件的开始时间。以下图为例： + + ++ 在t1时刻进入了softirq，此时记录**softirq.arrival\_time = t1**,**softirq.delta\_time = t1**。 ++ 然后在t2时刻，来了一个irq抢占了softirq，进入irq的执行函数。 ++ t3时刻离开irq执行完毕继续执行softirq。irq执行时间**duration = t3-t2**。同时调用cond\_move\_softirq\_delta\_start，更新softirq开始时间**softirq.delta\_start += duration;** ++ 在t4时刻softirq执行完毕退出。 + + +那么本次softirq的持续时间实际上应该是t4 - (t1 + duration) = t4 - **softirq.delta\_start。** + + + + +因此，需要高优先级的对低优先级的事件的时间进行校准。 + + ++ 对于nmi事件，需要调用 + + +- cond\_move\_irq\_delta\_start +- cond\_move\_softirq\_delta\_start +- cond\_move\_thread\_delta\_start + + ++ 对于irq事件，需要调用 + + +- cond\_move\_softirq\_delta\_start +- cond\_move\_thread\_delta\_start + + ++ 对于softirq事件，需要调用 + + +- cond\_move\_thread\_delta\_start + + +### hook\_softirq\_events + + +与irq的钩子函数一样，需要注册tracepoint softirq\_entry、softirq\_exit的钩子函数。最终注册的钩子函数如下： + + + +``` +static void trace_softirq_entry_callback(void *data, unsigned int vec_nr) +{ + struct osnoise_variables *osn_var = this_cpu_osn_var(); + + if (!osn_var->sampling) + return; + + osn_var->softirq.arrival_time = time_get(); + set_int_safe_time(osn_var, &osn_var->softirq.delta_start); + osn_var->softirq.count++; + + local_inc(&osn_var->int_counter); +} +static void trace_softirq_exit_callback(void *data, unsigned int vec_nr) +{ + struct osnoise_variables *osn_var = this_cpu_osn_var(); + int duration; + + if (!osn_var->sampling) + return; + + if (unlikely(timerlat_enabled())) + if (!timerlat_softirq_exit(osn_var)) + return; + + duration = get_int_safe_duration(osn_var, &osn_var->softirq.delta_start); + trace_softirq_noise(vec_nr, osn_var->softirq.arrival_time, duration); + cond_move_thread_delta_start(osn_var, duration); + osn_var->softirq.arrival_time = 0; +} +``` + + +可以发现对softirq的统计方式与对irq的统计方式一摸一样，在这里我们便不做详细分析，读者可以参考上面对hook\_irq\_events()的分析。 + + +### hook\_thread\_events + + +osnoise通过在tracepoint sched\_switch注册钩子函数，来统计thread noise。函数如下所示： + + + +``` +static void +trace_sched_switch_callback(void *data, bool preempt, + struct task_struct *p, + struct task_struct *n, + unsigned int prev_state) +{ + struct osnoise_variables *osn_var = this_cpu_osn_var(); + + if (p->pid != osn_var->pid) + thread_exit(osn_var, p); + + if (n->pid != osn_var->pid) + thread_entry(osn_var, n); +} +static void +thread_entry(struct osnoise_variables *osn_var, struct task_struct *t) +{ + if (!osn_var->sampling) + return; + /* + * The arrival time will be used in the report, but not to compute + * the execution time, so it is safe to get it unsafe. + */ + osn_var->thread.arrival_time = time_get(); + + set_int_safe_time(osn_var, &osn_var->thread.delta_start); + + osn_var->thread.count++; + local_inc(&osn_var->int_counter); +} +static void +thread_exit(struct osnoise_variables *osn_var, struct task_struct *t) +{ + int duration; + + if (!osn_var->sampling) + return; + + if (unlikely(timerlat_enabled())) + if (!timerlat_thread_exit(osn_var)) + return; + + duration = get_int_safe_duration(osn_var, &osn_var->thread.delta_start); + + trace_thread_noise(t, osn_var->thread.arrival_time, duration); + + osn_var->thread.arrival_time = 0; +} +``` + + +sched\_switch()为线程切换的核心函数，在该trace\_sched\_switch函数中的p表示前一个线程，n表示下一个要执行的线程，即从线程p切换到线程n。 + + +此时存在三种情况： + + ++ 从采样线程切换到其他线程 + + +- 执行thread\_entry()函数，标志一个噪声的进入 + + ++ 从其他线程切换到采样线程 + + +- 执行thread\_exit()函数，标志上一个噪声的结束 + + ++ 从其他线程切换到其他线程 + + +- 先执行thread\_exit()函数，标志上一个噪声的结束 +- 再执行thread\_entry()函数，标志下一个噪声的进入 + + +换句话说，该钩子函数会统计除了采样线程外其他所有线程执行的时间。其中thread\_entry()和thread\_exit（）的具体实现与上面对irq事件统计的函数实现类似，此处不再过多赘述。 + + +### nmi\_events + + +对于NMI事件的统计比较特殊，在ftrace\_nmi\_enter和ftrace\_nmi\_exit中直接调用trace\_osnoise\_callback获取nmi noise，并且调用trace\_nmi\_noise将duration放到ftrace的ringbuffer中。 + + + +``` +static inline void ftrace_nmi_exit(void) +{ + ... + if (trace_osnoise_callback_enabled) + trace_osnoise_callback(false); + ... +} +static inline void ftrace_nmi_exit(void) +{ + ... + if (trace_osnoise_callback_enabled) + trace_osnoise_callback(false); + ... +} +void trace_osnoise_callback(bool enter) +{ + struct osnoise_variables *osn_var = this_cpu_osn_var(); + u64 duration; + + if (!osn_var->sampling) + return; + + /* + * Currently trace_clock_local() calls sched_clock() and the + * generic version is not NMI safe. + */ + if (!IS_ENABLED(CONFIG_GENERIC_SCHED_CLOCK)) { + if (enter) { + osn_var->nmi.delta_start = time_get(); + local_inc(&osn_var->int_counter); + } else { + duration = time_get() - osn_var->nmi.delta_start; + + trace_nmi_noise(osn_var->nmi.delta_start, duration); + + cond_move_irq_delta_start(osn_var, duration); + cond_move_softirq_delta_start(osn_var, duration); + cond_move_thread_delta_start(osn_var, duration); + } + } + + if (enter) + osn_var->nmi.count++; +} +``` + + +主要函数为trace\_osnoise\_callback(bool enter)，该函数通过一个bool值来判断当前是进入nmi中断还是退出nmi中断，进而进行相应的处理，统计方法和其他事件统计方法一直。可以看到在NMI的钩子函数中，会调用到 + + ++ cond\_move\_irq\_delta\_start(osn\_var, duration); ++ cond\_move\_softirq\_delta\_start(osn\_var, duration); ++ cond\_move\_softirq\_delta\_start(osn\_var, duration); + + +这三个函数去校准其他低优先级事件的统计。与我们之前的分析一致。 + + +## 2.4 采样 + + +上面介绍了osnoise对各类事件采样的方法，接下来，我们分析一下osnoise的采样流程。osnoise开始采样的函数调用流程为osnoise\_tracer\_start->osnoise\_workload\_start->start\_per\_cpu\_kthreads->start\_kthread->osnoise\_main->run\_osnoise。 + + + +采样的核心函数为run\_osnoise，将代码裁剪后如下： + + + +``` +static int run_osnoise(void) +{ + ... + + threshold = tracing_thresh ? : 5000; + + osn_var->sampling = true; + + runtime = osnoise_data.sample_runtime * NSEC_PER_USEC; + + stop_in = osnoise_data.stop_tracing * NSEC_PER_USEC; + + start = time_get(); + + last_int_count = set_int_safe_time(osn_var, &last_sample); + + do { + + int_count = set_int_safe_time(osn_var, &sample); + + noise = time_sub(sample, last_sample); + + total = time_sub(sample, start); + + if (total < last_total) { + osnoise_taint("total overflow!"); + break; + } + + last_total = total; + + if (noise >= threshold) { + int interference = int_count - last_int_count; + + if (noise > max_noise) + max_noise = noise; + + if (!interference) + hw_count++; + + sum_noise += noise; + + trace_sample_threshold(last_sample, noise, interference); + + if (osnoise_data.stop_tracing) + if (noise > stop_in) + osnoise_stop_tracing(); + } + + last_sample = sample; + last_int_count = int_count; + + } while (total < runtime && !kthread_should_stop()); + + osn_var->sampling = false; + + ... +} +``` + + + +分析采样函数的主体逻辑流程图如下所示： + + + + + +即通过不断的轮询TSC寄存器，将每次轮询的间隙与预设的threshold进行对比，判断是否发生噪声，如果发生了噪声且噪声不是由其他可测量事件所造成的，就认为发生了硬件噪声。 + + +其中： + + +* threshold ：两次轮询TSC寄存器时间之差，被认为是噪声的最小值，默认设为5us。 +* osn\_var->sampling：标志位，标志是否开启采样。 +* runtime：预设的本次采样时间。 +* start ：记录本次采样开始的时间 +* last\_sample ： 记录上次读取tsc寄存器的值 +* sample ： 记录本次读取tsc寄存器的值 +* noise = time\_sub(sample, last\_sample) ： 计算本次和上次轮询tsc寄存器的时间之差。 +* total ：记录从采样开始到现在所经历的时间 +* 如果noise >= threshold，则视为发生了噪声，进行统计计算 + + ++ max\_noise： 记录最大的单个噪声值 ++ interference： 记录本次噪声内事件发生的次数，如果为0则代表是硬件噪声。 ++ hw\_count: 记录硬件噪声的次数，当interference为0时，增加。 + + +* 轮询tsc寄存器，直到total>=runtime，结束本次采样。 + + + +# 三、小结 + + +以上便是对osnoise的代码分析。osnoise就是站在一个普通进程的视角上，统计所有会打断他的事件，包含irq、softirq、nmi、thread、hw。 + + +对于前四种事件内核中都提供了相应的tracepoint，只需要注册相应的回掉函数到tracepoint中即可统计到相关的信息。而hw无法被直接统计测量，因此在osnoise中就通过不断的轮询tsc寄存器，将任意两次轮询的差值与threshold进行比较，如果大于threshold就认为发生了噪声，当发生噪声时如果其他四个事件都未发生就认为发生了硬件延迟。 + + +由于irq、softirq、nmi、thread都有相应的tracepoint可以供我们使用，在不考虑hw的情况下我们其实可以直接在用户态实现相关信息的采集。下篇文章我们会尝试在用户态，利用bcc通过动态插桩的方式来实现一个简单的osnoise背景噪声统计工具。 + + + + + + + + + + + + + + + + + + diff --git "a/sig/AI/content/\345\206\205\346\240\270\350\260\203\346\265\213/Pstore\345\211\215\347\253\257CONSOLE_\344\273\243\347\240\201\345\210\206\346\236\220.md" "b/sig/AI/content/\345\206\205\346\240\270\350\260\203\346\265\213/Pstore\345\211\215\347\253\257CONSOLE_\344\273\243\347\240\201\345\210\206\346\236\220.md" new file mode 100644 index 0000000000000000000000000000000000000000..41ecbb17a91a745ddf9bfa70e2f998fafefc6a53 --- /dev/null +++ "b/sig/AI/content/\345\206\205\346\240\270\350\260\203\346\265\213/Pstore\345\211\215\347\253\257CONSOLE_\344\273\243\347\240\201\345\210\206\346\236\220.md" @@ -0,0 +1,558 @@ + + + +作者：新绎 + + + +# 写在前面 + + +pstore中提供了多种前端来实现捕获各种系统信息来加以调试。这篇文章中，我们会对pstore其中之一的前端`PSTORE\_CONSOLE`进行分析，从原理上分析pstore如何获取kernel printk的信息。 + + +# pstore console注册 + + +`pstore console`前端注册函数在`fs/pstore/platform.c`中被定义，通过后端初始化过程中被调用并注册，从而能够在系统执行`prink`时获取输出信息，并通过`write`方法将`prink`的输出写入到相应的后端当中。 + + + +``` +static void pstore_console_write(struct console *con, const char *s, unsigned c) +{ + struct pstore_record record; + + if (!c) + return; + + pstore_record_init(&record, psinfo); + record.type = PSTORE_TYPE_CONSOLE; + + record.buf = (char *)s; + record.size = c; + psinfo->write(&record); +} + +static struct console pstore_console = { + .write = pstore_console_write, + .index = -1, +}; + +static void pstore_register_console(void) +{ + /* Show which backend is going to get console writes. */ + strscpy(pstore_console.name, psinfo->name, + sizeof(pstore_console.name)); + /* + * Always initialize flags here since prior unregister_console() + * calls may have changed settings (specifically CON_ENABLED). + */ + pstore_console.flags = CON_PRINTBUFFER | CON_ENABLED | CON_ANYTIME; + register_console(&pstore_console); +} +``` + + +其中，pstore\_console的flag开启了3个选项：`CON\_PRINTBUFFER`，`CON\_ENABLED`和`CON\_ANYTIME`。 + + +`CON\_PRINTBUFFER`：只有开启了才会接受prink的输出 + + +`CON\_ENABLED`：console使能，如果没有开启这个flag需要手动使能（在cmdline中定义） + + +`CON\_ANYTIME`：可以在cpu离线时进行调用 + + + +``` +//console.h +/* + * The interface for a console, or any other device that wants to capture + * console messages (printer driver?) + * + * If a console driver is marked CON_BOOT then it will be auto-unregistered + * when the first real console is registered. This is for early-printk drivers. + */ + +#define CON_PRINTBUFFER (1) +#define CON_CONSDEV (2) /* Last on the command line */ +#define CON_ENABLED (4) +#define CON_BOOT (8) +#define CON_ANYTIME (16) /* Safe to call when cpu is offline */ +#define CON_BRL (32) /* Used for a braille device */ +#define CON_EXTENDED (64) /* Use the extended output format a la /dev/kmsg */ + +struct console { + char name[16]; + void (*write)(struct console *, const char *, unsigned); + int (*read)(struct console *, char *, unsigned); + struct tty_driver *(*device)(struct console *, int *); + void (*unblank)(void); + int (*setup)(struct console *, char *); + int (*match)(struct console *, char *name, int idx, char *options); + short flags; + short index; + int cflag; + void *data; + struct console *next; +}; +``` + + +# printk总览 + + + + + + +# printk向console输出过程分析 + + +pstore中注册好console之后，console会被动地获取printk的输出，接下来我们分析printk是对console进行输出。 + + +## cmdline解析 + + +如果console的flag中定义了`CON\_ENABLED`，那么console会默认使能。如果没有定义，则需要在cmdline中手动使能。 + + +`kernel/printk.c`中将`'console='`的解析函数`console\_setup`注册到`obs\_kernel\_param`，在kernel启动过程中会遍历所有`obs\_kernel\_param`，接着会调用`console\_setup`来解析。 + + +我们通过在cmdline中定义`console=xxx`则能够被`console\_setup`所解析并使能相应的console。 + + + +参数是`'console='`的值字符串，如“ttyS0,115200”,`console\_setup`对`console=`参数值做解析，以ttyS0,115200为例，`buf=“ttyS”`，`idx=0`，`options="115200"`，`brl\_options=NULL`。 + + + +``` +//printk.c 解析cmdline +/* + * Set up a console. Called via do_early_param() in init/main.c + * for each "console=" parameter in the boot command line. + */ +static int __init console_setup(char *str) +{ + char buf[sizeof(console_cmdline[0].name) + 4]; /* 4 for "ttyS" */ + char *s, *options, *brl_options = NULL; + int idx; + + if (_braille_console_setup(&str, &brl_options)) + return 1; + + /* + * Decode str into name, index, options. + */ + if (str[0] >= '0' && str[0] <= '9') { + strcpy(buf, "ttyS"); + strncpy(buf + 4, str, sizeof(buf) - 5); + } else { + strncpy(buf, str, sizeof(buf) - 1); + } + buf[sizeof(buf) - 1] = 0; + options = strchr(str, ','); + if (options) + *(options++) = 0; +#ifdef __sparc__ + if (!strcmp(str, "ttya")) + strcpy(buf, "ttyS0"); + if (!strcmp(str, "ttyb")) + strcpy(buf, "ttyS1"); +#endif + for (s = buf; *s; s++) + if (isdigit(*s) || *s == ',') + break; + idx = simple_strtoul(s, NULL, 10); + *s = 0; + + __add_preferred_console(buf, idx, options, brl_options); + console_set_on_cmdline = 1; + return 1; +} +__setup("console=", console_setup); +``` + + +`console\_setup`最后调用`\_\_add\_preferred\_console`： + + +kernel利用结构体数组`console\_cmdline[8]`,最多可支持8个cmdline传入的console参数。 + + +`\_\_add\_preferred\_console`将name，idx，options保存到数组下一个成员`console\_cmdline`结构体中，如果数组中已有重名，则不添加，并置`selected\_console`为最新添加的`console\_cmdline`的下标。 + + + +**一个例子：** + + +如cmdline中有“console=ttyS0,115200 console=ttyS1,9600” + + +则在`console\_cmdline[8]`数组中`console\_cmdline[0]`代表ttyS0，`console\_cmdline[1]`代表ttyS1，而`preferred\_console=1`。 + + + +``` +//printk.c __add_preferred_console +static int __add_preferred_console(char *name, int idx, char *options, + char *brl_options) +{ + struct console_cmdline *c; + int i; + + /* + * See if this tty is not yet registered, and + * if we have a slot free. + */ + for (i = 0, c = console_cmdline; + i < MAX_CMDLINECONSOLES && c->name[0]; + i++, c++) { + if (strcmp(c->name, name) == 0 && c->index == idx) { + if (!brl_options) + preferred_console = i; + return 0; + } + } + if (i == MAX_CMDLINECONSOLES) + return -E2BIG; + if (!brl_options) + preferred_console = i; + strlcpy(c->name, name, sizeof(c->name)); + c->options = options; + braille_set_options(c, brl_options); + + c->index = idx; + return 0; +} +``` + + +## printk console选择 + + +printk内容会一直存在log\_buf中，log\_buf满了之后则会从头在开始存，覆盖掉原来的数据。 + + +log\_buf的大小由kernel `menuconfig`中的`CONFIG\_LOG\_BUF\_SHIFT`配置。 + + +根据printk的实现原理，printk最后调用`console\_unlock`实现log\_buf数据刷出到设备。 + + +kernel下每次printk打印，首先存log\_buf，然后遍历console\_drivers，找到合适console（如果有`execlusive\_console`，则往`execlusive\_console`写，如果没有，则为所有使能的console），刷出log。 + + +**默认情况下**`**execlusive\_console=NULL**`，所以printk默认是向所有enable的console写 + + +只有一种情况是指定`execlusive\_console`，就是在console注册时 + + + +``` +//printk.c call_console_drivers +/* + * Call the console drivers, asking them to write out + * log_buf[start] to log_buf[end - 1]. + * The console_lock must be held. + */ +static void call_console_drivers(const char *ext_text, size_t ext_len, + const char *text, size_t len) +{ + struct console *con; + + trace_console_rcuidle(text, len); + + if (!console_drivers) + return; + + for_each_console(con) { + if (exclusive_console && con != exclusive_console) + continue; + if (!(con->flags & CON_ENABLED)) + continue; + if (!con->write) + continue; + if (!cpu_online(smp_processor_id()) && + !(con->flags & CON_ANYTIME)) + continue; + if (con->flags & CON_EXTENDED) + con->write(con, ext_text, ext_len); + else + con->write(con, text, len); + } +} +``` + + +## printk console注册 + + +注意：linux提供了early console机制（通过`CONFIG\_EARLY\_PRINTK`进行使能），用于实现为设备注册console之前的早期log的输出，对应console也称为boot console，简称bcon。这个console在kernel启动的早期阶段就会被注册，主要通过输出设备（比如串口设备）的简单的write方法直接进行数据打印。而这个write方法也就是平台实现。这时候作为输出的串口设备是基于bootloader中已经初始化完成的。 + + + +1. 如果注册的是bootconsole（kernel早期启动打印），需要检查console\_drivers中没有real console，也就是说bootconsole必须是第一个注册的console。 +2. 检查new console是否是cmdline指定的console，如果是，则使能(`CON\_ENABLE`)并初始化该console +3. 如果该new console没有使能，退出 +4. 如果new console为bootconsole，则newcon不需要输出register之前的log（`newcon->flags &= ~CON\_PRINTBUFFER`），因为如果bootconsole和new console是同一个设备则会之前的log就输出2次 +5. 把new console加入`console\_drivers`链表，对于置位`CON\_CONSDEV`的console，放在链表首 +6. 加锁 +7. 如果new console置位`CON\_PRINTBUFFER`，则将log全部刷出（暂时修改printk输出的指定唯一`exclusive\_console`为new console，保证将之前的log只输出到new console） +8. 解锁（console\_unlock()会重新把`exclusive\_console`设置为NULL） +9. 如果有bootconsole并且不是作为real console继续使用，则unregister bootconsole（从`console\_drivers`中删掉） + +``` +//printk.c register_console +/* + * The console driver calls this routine during kernel initialization + * to register the console printing procedure with printk() and to + * print any messages that were printed by the kernel before the + * console driver was initialized. + * + * This can happen pretty early during the boot process (because of + * early_printk) - sometimes before setup_arch() completes - be careful + * of what kernel features are used - they may not be initialised yet. + * + * There are two types of consoles - bootconsoles (early_printk) and + * "real" consoles (everything which is not a bootconsole) which are + * handled differently. + * - Any number of bootconsoles can be registered at any time. + * - As soon as a "real" console is registered, all bootconsoles + * will be unregistered automatically. + * - Once a "real" console is registered, any attempt to register a + * bootconsoles will be rejected + */ +void register_console(struct console *newcon) +{ + int i; + unsigned long flags; + struct console *bcon = NULL; + struct console_cmdline *c; + static bool has_preferred; + + if (console_drivers) + for_each_console(bcon) + if (WARN(bcon == newcon, + "console '%s%d' already registered\n", + bcon->name, bcon->index)) + return; + + /* + * before we register a new CON_BOOT console, make sure we don't + * already have a valid console + */ + if (console_drivers && newcon->flags & CON_BOOT) { + /* find the last or real console */ + for_each_console(bcon) { + if (!(bcon->flags & CON_BOOT)) { + pr_info("Too late to register bootconsole %s%d\n", + newcon->name, newcon->index); + return; + } + } + } + + if (console_drivers && console_drivers->flags & CON_BOOT) + bcon = console_drivers; + + if (!has_preferred || bcon || !console_drivers) + has_preferred = preferred_console >= 0; + + /* + * See if we want to use this console driver. If we + * didn't select a console we take the first one + * that registers here. + */ + if (!has_preferred) { + if (newcon->index < 0) + newcon->index = 0; + if (newcon->setup == NULL || + newcon->setup(newcon, NULL) == 0) { + newcon->flags |= CON_ENABLED; + if (newcon->device) { + newcon->flags |= CON_CONSDEV; + has_preferred = true; + } + } + } + + /* + * See if this console matches one we selected on + * the command line. + */ + for (i = 0, c = console_cmdline; + i < MAX_CMDLINECONSOLES && c->name[0]; + i++, c++) { + if (!newcon->match || + newcon->match(newcon, c->name, c->index, c->options) != 0) { + /* default matching */ + BUILD_BUG_ON(sizeof(c->name) != sizeof(newcon->name)); + if (strcmp(c->name, newcon->name) != 0) + continue; + if (newcon->index >= 0 && + newcon->index != c->index) + continue; + if (newcon->index < 0) + newcon->index = c->index; + + if (_braille_register_console(newcon, c)) + return; + + if (newcon->setup && + newcon->setup(newcon, c->options) != 0) + break; + } + + newcon->flags |= CON_ENABLED; + if (i == preferred_console) { + newcon->flags |= CON_CONSDEV; + has_preferred = true; + } + break; + } + + if (!(newcon->flags & CON_ENABLED)) + return; + + /* + * If we have a bootconsole, and are switching to a real console, + * don't print everything out again, since when the boot console, and + * the real console are the same physical device, it's annoying to + * see the beginning boot messages twice + */ + if (bcon && ((newcon->flags & (CON_CONSDEV | CON_BOOT)) == CON_CONSDEV)) + newcon->flags &= ~CON_PRINTBUFFER; + + /* + * Put this console in the list - keep the + * preferred driver at the head of the list. + */ + console_lock(); + if ((newcon->flags & CON_CONSDEV) || console_drivers == NULL) { + newcon->next = console_drivers; + console_drivers = newcon; + if (newcon->next) + newcon->next->flags &= ~CON_CONSDEV; + } else { + newcon->next = console_drivers->next; + console_drivers->next = newcon; + } + + if (newcon->flags & CON_EXTENDED) + if (!nr_ext_console_drivers++) + pr_info("printk: continuation disabled due to ext consoles, expect more fragments in /dev/kmsg\n"); + + if (newcon->flags & CON_PRINTBUFFER) { + /* + * console_unlock(); will print out the buffered messages + * for us. + */ + logbuf_lock_irqsave(flags); + console_seq = syslog_seq; + console_idx = syslog_idx; + /* + * We're about to replay the log buffer. Only do this to the + * just-registered console to avoid excessive message spam to + * the already-registered consoles. + * + * Set exclusive_console with disabled interrupts to reduce + * race window with eventual console_flush_on_panic() that + * ignores console_lock. + */ + exclusive_console = newcon; + exclusive_console_stop_seq = console_seq; + logbuf_unlock_irqrestore(flags); + } + console_unlock(); + console_sysfs_notify(); + + /* + * By unregistering the bootconsoles after we enable the real console + * we get the "console xxx enabled" message on all the consoles - + * boot consoles, real consoles, etc - this is to ensure that end + * users know there might be something in the kernel's log buffer that + * went to the bootconsole (that they do not see on the real console) + */ + pr_info("%sconsole [%s%d] enabled\n", + (newcon->flags & CON_BOOT) ? "boot" : "" , + newcon->name, newcon->index); + if (bcon && + ((newcon->flags & (CON_CONSDEV | CON_BOOT)) == CON_CONSDEV) && + !keep_bootcon) { + /* We need to iterate through all boot consoles, to make + * sure we print everything out, before we unregister them. + */ + for_each_console(bcon) + if (bcon->flags & CON_BOOT) + unregister_console(bcon); + } +} + +EXPORT_SYMBOL(register_console); +``` + + +## printk打印级别 + + +printk可以根据设置的日志级别来确定这个语句最后是否能够打印出来。 + + +查看此文件：`cat /proc/sys/kernel/printk` + + +该文件有四个数字值，它们根据日志记录消息的重要性，定义将其发送到何处。 + + + + 1. 控制台日志级别：优先级高于该值的消息将被打印至控制台 + 2. 默认的消息日志级别：将用该优先级来打印没有优先级的消息 + 3. 最低的控制台日志级别：控制台日志级别可被设置的最小值(最高优先级) + 4. 默认的控制台日志级别：控制台日志级别的缺省值 + +内核中共提供了八种不同的日志级别，在 `linux/kernel.h` 中有相应的宏对应。 + + + +``` +#define KERN_EMERG "<0>" /* systemis unusable */ +#define KERN_ALERT "<1>" /* actionmust be taken immediately */ +#define KERN_CRIT "<2>" /*critical conditions */ +#define KERN_ERR "<3>" /* errorconditions */ +#define KERN_WARNING "<4>" /* warning conditions */ +#define KERN_NOTICE "<5>" /* normalbut significant */ +#define KERN_INFO "<6>" /*informational */ +#define KERN_DEBUG "<7>" /*debug-level messages */ +``` + + +**可以通过在cmdline中加入“loglevel=X”的语句，来调整日志输入级别。**其中X就是我们想要设置的console\_loglevel的值。 + + +# 总结 + + +pstore实现console前端的方式很简单：通过注册一个console并且使能即可实现。 + + +默认情况下，printk会对所有使能的console进行输出，将log\_buf中的数据写入到使能的console当中。 + + +当对pstore的console进行输出时，会触发pstore console的write，将数据写入到相应后端。 + + + + + + + + diff --git "a/sig/AI/content/\345\206\205\346\240\270\350\260\203\346\265\213/Pstore\345\211\215\347\253\257\357\274\232CONSOLE_\344\273\243\347\240\201\345\210\206\346\236\220.md" "b/sig/AI/content/\345\206\205\346\240\270\350\260\203\346\265\213/Pstore\345\211\215\347\253\257\357\274\232CONSOLE_\344\273\243\347\240\201\345\210\206\346\236\220.md" new file mode 100644 index 0000000000000000000000000000000000000000..41ecbb17a91a745ddf9bfa70e2f998fafefc6a53 --- /dev/null +++ "b/sig/AI/content/\345\206\205\346\240\270\350\260\203\346\265\213/Pstore\345\211\215\347\253\257\357\274\232CONSOLE_\344\273\243\347\240\201\345\210\206\346\236\220.md" @@ -0,0 +1,558 @@ + + + +作者：新绎 + + + +# 写在前面 + + +pstore中提供了多种前端来实现捕获各种系统信息来加以调试。这篇文章中，我们会对pstore其中之一的前端`PSTORE\_CONSOLE`进行分析，从原理上分析pstore如何获取kernel printk的信息。 + + +# pstore console注册 + + +`pstore console`前端注册函数在`fs/pstore/platform.c`中被定义，通过后端初始化过程中被调用并注册，从而能够在系统执行`prink`时获取输出信息，并通过`write`方法将`prink`的输出写入到相应的后端当中。 + + + +``` +static void pstore_console_write(struct console *con, const char *s, unsigned c) +{ + struct pstore_record record; + + if (!c) + return; + + pstore_record_init(&record, psinfo); + record.type = PSTORE_TYPE_CONSOLE; + + record.buf = (char *)s; + record.size = c; + psinfo->write(&record); +} + +static struct console pstore_console = { + .write = pstore_console_write, + .index = -1, +}; + +static void pstore_register_console(void) +{ + /* Show which backend is going to get console writes. */ + strscpy(pstore_console.name, psinfo->name, + sizeof(pstore_console.name)); + /* + * Always initialize flags here since prior unregister_console() + * calls may have changed settings (specifically CON_ENABLED). + */ + pstore_console.flags = CON_PRINTBUFFER | CON_ENABLED | CON_ANYTIME; + register_console(&pstore_console); +} +``` + + +其中，pstore\_console的flag开启了3个选项：`CON\_PRINTBUFFER`，`CON\_ENABLED`和`CON\_ANYTIME`。 + + +`CON\_PRINTBUFFER`：只有开启了才会接受prink的输出 + + +`CON\_ENABLED`：console使能，如果没有开启这个flag需要手动使能（在cmdline中定义） + + +`CON\_ANYTIME`：可以在cpu离线时进行调用 + + + +``` +//console.h +/* + * The interface for a console, or any other device that wants to capture + * console messages (printer driver?) + * + * If a console driver is marked CON_BOOT then it will be auto-unregistered + * when the first real console is registered. This is for early-printk drivers. + */ + +#define CON_PRINTBUFFER (1) +#define CON_CONSDEV (2) /* Last on the command line */ +#define CON_ENABLED (4) +#define CON_BOOT (8) +#define CON_ANYTIME (16) /* Safe to call when cpu is offline */ +#define CON_BRL (32) /* Used for a braille device */ +#define CON_EXTENDED (64) /* Use the extended output format a la /dev/kmsg */ + +struct console { + char name[16]; + void (*write)(struct console *, const char *, unsigned); + int (*read)(struct console *, char *, unsigned); + struct tty_driver *(*device)(struct console *, int *); + void (*unblank)(void); + int (*setup)(struct console *, char *); + int (*match)(struct console *, char *name, int idx, char *options); + short flags; + short index; + int cflag; + void *data; + struct console *next; +}; +``` + + +# printk总览 + + + + + + +# printk向console输出过程分析 + + +pstore中注册好console之后，console会被动地获取printk的输出，接下来我们分析printk是对console进行输出。 + + +## cmdline解析 + + +如果console的flag中定义了`CON\_ENABLED`，那么console会默认使能。如果没有定义，则需要在cmdline中手动使能。 + + +`kernel/printk.c`中将`'console='`的解析函数`console\_setup`注册到`obs\_kernel\_param`，在kernel启动过程中会遍历所有`obs\_kernel\_param`，接着会调用`console\_setup`来解析。 + + +我们通过在cmdline中定义`console=xxx`则能够被`console\_setup`所解析并使能相应的console。 + + + +参数是`'console='`的值字符串，如“ttyS0,115200”,`console\_setup`对`console=`参数值做解析，以ttyS0,115200为例，`buf=“ttyS”`，`idx=0`，`options="115200"`，`brl\_options=NULL`。 + + + +``` +//printk.c 解析cmdline +/* + * Set up a console. Called via do_early_param() in init/main.c + * for each "console=" parameter in the boot command line. + */ +static int __init console_setup(char *str) +{ + char buf[sizeof(console_cmdline[0].name) + 4]; /* 4 for "ttyS" */ + char *s, *options, *brl_options = NULL; + int idx; + + if (_braille_console_setup(&str, &brl_options)) + return 1; + + /* + * Decode str into name, index, options. + */ + if (str[0] >= '0' && str[0] <= '9') { + strcpy(buf, "ttyS"); + strncpy(buf + 4, str, sizeof(buf) - 5); + } else { + strncpy(buf, str, sizeof(buf) - 1); + } + buf[sizeof(buf) - 1] = 0; + options = strchr(str, ','); + if (options) + *(options++) = 0; +#ifdef __sparc__ + if (!strcmp(str, "ttya")) + strcpy(buf, "ttyS0"); + if (!strcmp(str, "ttyb")) + strcpy(buf, "ttyS1"); +#endif + for (s = buf; *s; s++) + if (isdigit(*s) || *s == ',') + break; + idx = simple_strtoul(s, NULL, 10); + *s = 0; + + __add_preferred_console(buf, idx, options, brl_options); + console_set_on_cmdline = 1; + return 1; +} +__setup("console=", console_setup); +``` + + +`console\_setup`最后调用`\_\_add\_preferred\_console`： + + +kernel利用结构体数组`console\_cmdline[8]`,最多可支持8个cmdline传入的console参数。 + + +`\_\_add\_preferred\_console`将name，idx，options保存到数组下一个成员`console\_cmdline`结构体中，如果数组中已有重名，则不添加，并置`selected\_console`为最新添加的`console\_cmdline`的下标。 + + + +**一个例子：** + + +如cmdline中有“console=ttyS0,115200 console=ttyS1,9600” + + +则在`console\_cmdline[8]`数组中`console\_cmdline[0]`代表ttyS0，`console\_cmdline[1]`代表ttyS1，而`preferred\_console=1`。 + + + +``` +//printk.c __add_preferred_console +static int __add_preferred_console(char *name, int idx, char *options, + char *brl_options) +{ + struct console_cmdline *c; + int i; + + /* + * See if this tty is not yet registered, and + * if we have a slot free. + */ + for (i = 0, c = console_cmdline; + i < MAX_CMDLINECONSOLES && c->name[0]; + i++, c++) { + if (strcmp(c->name, name) == 0 && c->index == idx) { + if (!brl_options) + preferred_console = i; + return 0; + } + } + if (i == MAX_CMDLINECONSOLES) + return -E2BIG; + if (!brl_options) + preferred_console = i; + strlcpy(c->name, name, sizeof(c->name)); + c->options = options; + braille_set_options(c, brl_options); + + c->index = idx; + return 0; +} +``` + + +## printk console选择 + + +printk内容会一直存在log\_buf中，log\_buf满了之后则会从头在开始存，覆盖掉原来的数据。 + + +log\_buf的大小由kernel `menuconfig`中的`CONFIG\_LOG\_BUF\_SHIFT`配置。 + + +根据printk的实现原理，printk最后调用`console\_unlock`实现log\_buf数据刷出到设备。 + + +kernel下每次printk打印，首先存log\_buf，然后遍历console\_drivers，找到合适console（如果有`execlusive\_console`，则往`execlusive\_console`写，如果没有，则为所有使能的console），刷出log。 + + +**默认情况下**`**execlusive\_console=NULL**`，所以printk默认是向所有enable的console写 + + +只有一种情况是指定`execlusive\_console`，就是在console注册时 + + + +``` +//printk.c call_console_drivers +/* + * Call the console drivers, asking them to write out + * log_buf[start] to log_buf[end - 1]. + * The console_lock must be held. + */ +static void call_console_drivers(const char *ext_text, size_t ext_len, + const char *text, size_t len) +{ + struct console *con; + + trace_console_rcuidle(text, len); + + if (!console_drivers) + return; + + for_each_console(con) { + if (exclusive_console && con != exclusive_console) + continue; + if (!(con->flags & CON_ENABLED)) + continue; + if (!con->write) + continue; + if (!cpu_online(smp_processor_id()) && + !(con->flags & CON_ANYTIME)) + continue; + if (con->flags & CON_EXTENDED) + con->write(con, ext_text, ext_len); + else + con->write(con, text, len); + } +} +``` + + +## printk console注册 + + +注意：linux提供了early console机制（通过`CONFIG\_EARLY\_PRINTK`进行使能），用于实现为设备注册console之前的早期log的输出，对应console也称为boot console，简称bcon。这个console在kernel启动的早期阶段就会被注册，主要通过输出设备（比如串口设备）的简单的write方法直接进行数据打印。而这个write方法也就是平台实现。这时候作为输出的串口设备是基于bootloader中已经初始化完成的。 + + + +1. 如果注册的是bootconsole（kernel早期启动打印），需要检查console\_drivers中没有real console，也就是说bootconsole必须是第一个注册的console。 +2. 检查new console是否是cmdline指定的console，如果是，则使能(`CON\_ENABLE`)并初始化该console +3. 如果该new console没有使能，退出 +4. 如果new console为bootconsole，则newcon不需要输出register之前的log（`newcon->flags &= ~CON\_PRINTBUFFER`），因为如果bootconsole和new console是同一个设备则会之前的log就输出2次 +5. 把new console加入`console\_drivers`链表，对于置位`CON\_CONSDEV`的console，放在链表首 +6. 加锁 +7. 如果new console置位`CON\_PRINTBUFFER`，则将log全部刷出（暂时修改printk输出的指定唯一`exclusive\_console`为new console，保证将之前的log只输出到new console） +8. 解锁（console\_unlock()会重新把`exclusive\_console`设置为NULL） +9. 如果有bootconsole并且不是作为real console继续使用，则unregister bootconsole（从`console\_drivers`中删掉） + +``` +//printk.c register_console +/* + * The console driver calls this routine during kernel initialization + * to register the console printing procedure with printk() and to + * print any messages that were printed by the kernel before the + * console driver was initialized. + * + * This can happen pretty early during the boot process (because of + * early_printk) - sometimes before setup_arch() completes - be careful + * of what kernel features are used - they may not be initialised yet. + * + * There are two types of consoles - bootconsoles (early_printk) and + * "real" consoles (everything which is not a bootconsole) which are + * handled differently. + * - Any number of bootconsoles can be registered at any time. + * - As soon as a "real" console is registered, all bootconsoles + * will be unregistered automatically. + * - Once a "real" console is registered, any attempt to register a + * bootconsoles will be rejected + */ +void register_console(struct console *newcon) +{ + int i; + unsigned long flags; + struct console *bcon = NULL; + struct console_cmdline *c; + static bool has_preferred; + + if (console_drivers) + for_each_console(bcon) + if (WARN(bcon == newcon, + "console '%s%d' already registered\n", + bcon->name, bcon->index)) + return; + + /* + * before we register a new CON_BOOT console, make sure we don't + * already have a valid console + */ + if (console_drivers && newcon->flags & CON_BOOT) { + /* find the last or real console */ + for_each_console(bcon) { + if (!(bcon->flags & CON_BOOT)) { + pr_info("Too late to register bootconsole %s%d\n", + newcon->name, newcon->index); + return; + } + } + } + + if (console_drivers && console_drivers->flags & CON_BOOT) + bcon = console_drivers; + + if (!has_preferred || bcon || !console_drivers) + has_preferred = preferred_console >= 0; + + /* + * See if we want to use this console driver. If we + * didn't select a console we take the first one + * that registers here. + */ + if (!has_preferred) { + if (newcon->index < 0) + newcon->index = 0; + if (newcon->setup == NULL || + newcon->setup(newcon, NULL) == 0) { + newcon->flags |= CON_ENABLED; + if (newcon->device) { + newcon->flags |= CON_CONSDEV; + has_preferred = true; + } + } + } + + /* + * See if this console matches one we selected on + * the command line. + */ + for (i = 0, c = console_cmdline; + i < MAX_CMDLINECONSOLES && c->name[0]; + i++, c++) { + if (!newcon->match || + newcon->match(newcon, c->name, c->index, c->options) != 0) { + /* default matching */ + BUILD_BUG_ON(sizeof(c->name) != sizeof(newcon->name)); + if (strcmp(c->name, newcon->name) != 0) + continue; + if (newcon->index >= 0 && + newcon->index != c->index) + continue; + if (newcon->index < 0) + newcon->index = c->index; + + if (_braille_register_console(newcon, c)) + return; + + if (newcon->setup && + newcon->setup(newcon, c->options) != 0) + break; + } + + newcon->flags |= CON_ENABLED; + if (i == preferred_console) { + newcon->flags |= CON_CONSDEV; + has_preferred = true; + } + break; + } + + if (!(newcon->flags & CON_ENABLED)) + return; + + /* + * If we have a bootconsole, and are switching to a real console, + * don't print everything out again, since when the boot console, and + * the real console are the same physical device, it's annoying to + * see the beginning boot messages twice + */ + if (bcon && ((newcon->flags & (CON_CONSDEV | CON_BOOT)) == CON_CONSDEV)) + newcon->flags &= ~CON_PRINTBUFFER; + + /* + * Put this console in the list - keep the + * preferred driver at the head of the list. + */ + console_lock(); + if ((newcon->flags & CON_CONSDEV) || console_drivers == NULL) { + newcon->next = console_drivers; + console_drivers = newcon; + if (newcon->next) + newcon->next->flags &= ~CON_CONSDEV; + } else { + newcon->next = console_drivers->next; + console_drivers->next = newcon; + } + + if (newcon->flags & CON_EXTENDED) + if (!nr_ext_console_drivers++) + pr_info("printk: continuation disabled due to ext consoles, expect more fragments in /dev/kmsg\n"); + + if (newcon->flags & CON_PRINTBUFFER) { + /* + * console_unlock(); will print out the buffered messages + * for us. + */ + logbuf_lock_irqsave(flags); + console_seq = syslog_seq; + console_idx = syslog_idx; + /* + * We're about to replay the log buffer. Only do this to the + * just-registered console to avoid excessive message spam to + * the already-registered consoles. + * + * Set exclusive_console with disabled interrupts to reduce + * race window with eventual console_flush_on_panic() that + * ignores console_lock. + */ + exclusive_console = newcon; + exclusive_console_stop_seq = console_seq; + logbuf_unlock_irqrestore(flags); + } + console_unlock(); + console_sysfs_notify(); + + /* + * By unregistering the bootconsoles after we enable the real console + * we get the "console xxx enabled" message on all the consoles - + * boot consoles, real consoles, etc - this is to ensure that end + * users know there might be something in the kernel's log buffer that + * went to the bootconsole (that they do not see on the real console) + */ + pr_info("%sconsole [%s%d] enabled\n", + (newcon->flags & CON_BOOT) ? "boot" : "" , + newcon->name, newcon->index); + if (bcon && + ((newcon->flags & (CON_CONSDEV | CON_BOOT)) == CON_CONSDEV) && + !keep_bootcon) { + /* We need to iterate through all boot consoles, to make + * sure we print everything out, before we unregister them. + */ + for_each_console(bcon) + if (bcon->flags & CON_BOOT) + unregister_console(bcon); + } +} + +EXPORT_SYMBOL(register_console); +``` + + +## printk打印级别 + + +printk可以根据设置的日志级别来确定这个语句最后是否能够打印出来。 + + +查看此文件：`cat /proc/sys/kernel/printk` + + +该文件有四个数字值，它们根据日志记录消息的重要性，定义将其发送到何处。 + + + + 1. 控制台日志级别：优先级高于该值的消息将被打印至控制台 + 2. 默认的消息日志级别：将用该优先级来打印没有优先级的消息 + 3. 最低的控制台日志级别：控制台日志级别可被设置的最小值(最高优先级) + 4. 默认的控制台日志级别：控制台日志级别的缺省值 + +内核中共提供了八种不同的日志级别，在 `linux/kernel.h` 中有相应的宏对应。 + + + +``` +#define KERN_EMERG "<0>" /* systemis unusable */ +#define KERN_ALERT "<1>" /* actionmust be taken immediately */ +#define KERN_CRIT "<2>" /*critical conditions */ +#define KERN_ERR "<3>" /* errorconditions */ +#define KERN_WARNING "<4>" /* warning conditions */ +#define KERN_NOTICE "<5>" /* normalbut significant */ +#define KERN_INFO "<6>" /*informational */ +#define KERN_DEBUG "<7>" /*debug-level messages */ +``` + + +**可以通过在cmdline中加入“loglevel=X”的语句，来调整日志输入级别。**其中X就是我们想要设置的console\_loglevel的值。 + + +# 总结 + + +pstore实现console前端的方式很简单：通过注册一个console并且使能即可实现。 + + +默认情况下，printk会对所有使能的console进行输出，将log\_buf中的数据写入到使能的console当中。 + + +当对pstore的console进行输出时，会触发pstore console的write，将数据写入到相应后端。 + + + + + + + + diff --git "a/sig/AI/content/\345\206\205\346\240\270\350\260\203\346\265\213/Pstore\345\211\215\347\253\257\357\274\232DMESG_\344\273\243\347\240\201\345\210\206\346\236\220.md" "b/sig/AI/content/\345\206\205\346\240\270\350\260\203\346\265\213/Pstore\345\211\215\347\253\257\357\274\232DMESG_\344\273\243\347\240\201\345\210\206\346\236\220.md" new file mode 100644 index 0000000000000000000000000000000000000000..d5f3a1ba76f702e35bea6cc937f08a58227bc95d --- /dev/null +++ "b/sig/AI/content/\345\206\205\346\240\270\350\260\203\346\265\213/Pstore\345\211\215\347\253\257\357\274\232DMESG_\344\273\243\347\240\201\345\210\206\346\236\220.md" @@ -0,0 +1,212 @@ + + + +作者：新绎 + + + +## 写在前面 + + +pstore中提供了多种前端来实现捕获各种系统信息从而加以调试。这篇文章中，我们会对pstore其中之一的前端PSTORE\_DMESG进行分析，从原理上分析pstore如何获取当内核发生panic时kmsg信息。 + + +## Pstore注册kmsg\_dumper + + +kmsg\_dumper结构体有两个重要成员：回调函数`dump()`以及相应的`kmsg_dump_reason`。通过对`dump()`进行实现，我们就可以将相应的log信息保存到我们希望保存的地方，并且可以通过`kmsg_dump_reason`来对需要保存的信息进行筛选。 + + + +``` +//kmsg_dump.h +/** +* struct kmsg_dumper - kernel crash message dumper structure +* @list: Entry in the dumper list (private) +* @dump: Call into dumping code which will retrieve the data with +* through the record iterator +* @max_reason: filter for highest reason number that should be dumped +* @registered: Flag that specifies if this is already registered +*/ +struct kmsg_dumper { + struct list_head list; + void (*dump)(struct kmsg_dumper *dumper, enum kmsg_dump_reason reason); + enum kmsg_dump_reason max_reason; + bool active; + bool registered; + + /* private state of the kmsg iterator */ + u32 cur_idx; + u32 next_idx; + u64 cur_seq; + u64 next_seq; +}; + +/* + * Keep this list arranged in rough order of priority. Anything listed after + * KMSG_DUMP_OOPS will not be logged by default unless printk.always_kmsg_dump + * is passed to the kernel. + */ +enum kmsg_dump_reason { + KMSG_DUMP_UNDEF, + KMSG_DUMP_PANIC, + KMSG_DUMP_OOPS, + KMSG_DUMP_EMERG, + KMSG_DUMP_RESTART, + KMSG_DUMP_HALT, + KMSG_DUMP_POWEROFF, +}; +``` + + +我们可以看到，目前有7种定义的`kmsg\_dump\_reason`，而pstore则关心在系统出现panic时的log信息。在pstore的实现中，pstore通过`pstore\_cannot\_block\_path()`函数对相应的信息进行过滤。 + + + +``` +//pstore_cannot_block_path() +/* + * Should pstore_dump() wait for a concurrent pstore_dump()? If + * not, the current pstore_dump() will report a failure to dump + * and return. + */ +static bool pstore_cannot_block_path(enum kmsg_dump_reason reason) +{ + /* In NMI path, pstore shouldn't block regardless of reason. */ + if (in_nmi()) + return true; + + switch (reason) { + /* In panic case, other cpus are stopped by smp_send_stop(). */ + case KMSG_DUMP_PANIC: + /* Emergency restart shouldn't be blocked. */ + case KMSG_DUMP_EMERG: + return true; + default: + return false; + } +} +``` + + +其中dmesg前端的主要工作就是为其实现一个`dump()`函数，该函数将从log buffer中读取log信息，然后将其封装为recored之后写入对应的后端设备，其主要定义如下： + + + +``` +//pstore_dump() +static struct kmsg_dumper pstore_dumper = { + .dump = pstore_dump, +} + +static void pstore_dump(struct kmsg_dumper *dumper, + enum kmsg_dump_reason reason) +{ + … + while (total < kmsg_bytes) { + … + pstore_record_init(&record, psinfo); + … + header_size = snprintf(dst, dst_size, "%s#%d Part%u\n", why, + oopscount, part); + dst_size -= header_size; + + if (!kmsg_dump_get_buffer(&iter, true, dst + header_size, + dst_size, &dump_size)) + break; + + if (big_oops_buf) { + zipped_len = pstore_compress(dst, psinfo->buf, + header_size + dump_size, + psinfo->bufsize); + … + } else { + record.size = header_size + dump_size; + } + + ret = psinfo->write(&record); + … + } + … +} + +``` + + +## kmsg\_dump实现 + + +printk实现了一个`kmsg\_dump()`函数，用于方便其它模块dump内核的log buffer，当内核发生oops、panic或重启等事件时，都会调用该函数dump log信息。其代码实现如下： + + + +``` +void kmsg_dump(enum kmsg_dump_reason reason) +{ + … + list_for_each_entry_rcu(dumper, &dump_list, list) { + enum kmsg_dump_reason max_reason = dumper->max_reason; + + if (max_reason == KMSG_DUMP_UNDEF) { + max_reason = always_kmsg_dump ? KMSG_DUMP_MAX : + KMSG_DUMP_OOPS; + } + if (reason > max_reason) + continue; + + dumper->dump(dumper, reason); + } + rcu_read_unlock(); +} +``` + + +使用`kmsg\_dump()`之前要先使用`kmsg\_dump\_register()`来注册一个dumper，用于实际的log写操作。 + + +我们先来看看`kmsg\_dump\_register`的定义，只定义了一个dump\_list，将系统中所有注册的dump都挂在同一个list下，这就说明系统可以注册多个dumper。 + + + +``` +int kmsg_dump_register(struct kmsg_dumper *dumper) +{ + … + if (!dumper->registered) { + dumper->registered = 1; + list_add_tail_rcu(&dumper->list, &dump_list); + err = 0; + } + … +} +``` + + +## 总结 + + +pstore dmesg主要工作流程如下： + + +（1）初始化一个record结构体 + + +（2）先向其写入pstore头信息，如dmesg reason、oops发生次数等 + + +（3）从log buffer中读取一行log信息 + + +（4）若需要压缩信息，则执行压缩操作 + + +（5）调用后端的写函数，将record写入相应的后端设备 + +wwqwq + + + + + + + diff --git "a/sig/AI/content/\345\206\205\346\240\270\350\260\203\346\265\213/Pstore\345\244\232\345\220\216\347\253\257\346\224\257\346\214\201\350\241\245\344\270\201.md" "b/sig/AI/content/\345\206\205\346\240\270\350\260\203\346\265\213/Pstore\345\244\232\345\220\216\347\253\257\346\224\257\346\214\201\350\241\245\344\270\201.md" new file mode 100644 index 0000000000000000000000000000000000000000..ae0745cbba745886ad0ace066854f42eb9dc8834 --- /dev/null +++ "b/sig/AI/content/\345\206\205\346\240\270\350\260\203\346\265\213/Pstore\345\244\232\345\220\216\347\253\257\346\224\257\346\214\201\350\241\245\344\270\201.md" @@ -0,0 +1,197 @@ + + + + +作者：新绎 + + +## 写在前面 + + +目前，pstore一次只支持打开一个后端。 如果一个新的后端想稍后注册， pstore将拒绝这个请求并返回一个错误。这个设计迫使我们关闭现有后端以使用新后端。 + + +内核支持某些类型的后端，例如ramoops和blk。在实际使用当中，我们还可以自行实现多种类型的后端。不同的后端根据不同的场景或业务进行信息收集。因此，他们需要同时工作，以满足各种需求。 + + +## 原始实现 + + +具体来说，由于全局变量`psinfo`的存在， pstore只接受第一个注册后端。如果一个新的后端想稍后注册， pstore将拒绝这个请求并返回一个错误。 + + + +``` +int pstore_register(struct pstore_info *psi) +{ + if (backend && strcmp(backend, psi->name)) { + pr_warn("ignoring unexpected backend '%s'\n", psi->name); + return -EPERM; + } + + /* Sanity check flags. */ + if (!psi->flags) { + pr_warn("backend '%s' must support at least one frontend\n", + psi->name); + return -EINVAL; + } + + /* Check for required functions. */ + if (!psi->read || !psi->write) { + pr_warn("backend '%s' must implement read() and write()\n", + psi->name); + return -EINVAL; + } + + mutex_lock(&psinfo_lock); + if (psinfo) { + pr_warn("backend '%s' already loaded: ignoring '%s'\n", + psinfo->name, psi->name); + mutex_unlock(&psinfo_lock); + return -EBUSY; + } + ... +} +``` + + +psinfo作为后端信息的存储结构体，一个psinfo只能保存一个后端。 + + + +``` +struct pstore_info { + struct module *owner; + const char *name; + + spinlock_t buf_lock; + char *buf; + size_t bufsize; + + struct mutex read_mutex; + + int flags; + int max_reason; + void *data; + + int (*open)(struct pstore_info *psi); + int (*close)(struct pstore_info *psi); + ssize_t (*read)(struct pstore_record *record); + int (*write)(struct pstore_record *record); + int (*write_user)(struct pstore_record *record, + const char __user *buf); + int (*erase)(struct pstore_record *record); +}; +``` + + +## 多后端实现 + + +### 修改全局变量 + + +在原始`fs/pstore/internal.h`中定义了全局变量`psinfo` + + +`extern struct pstore\_info \*psinfo;` + + +psinfo为后端信息的存储结构体，一个psinfo只能保存一个后端 + + +修改后： + + +`extern struct pstore\_backends \*psback;` + + +`psback`保存了所有使能`psinfo`的双向链表头节点。 + + +启动`psback`以及双向链表的定义如下： + + + +``` +struct pstore_info_list { + struct pstore_info *psi; + struct list_head list; + int index; +}; + +/** + * struct pstore_backends - management of pstore backends + * @list_entry: entry of pstore backend driver information list + * @front_cnt: count of each enabled frontend + * @flag: bitmap of enabled pstore backend + * @fs_ready: whether the pstore filesystem is ready + * + */ + +struct pstore_backends { + struct list_head list_entry; + int front_cnt[PSTORE_TYPE_MAX]; + u16 flag; + bool fs_ready; +}; +``` + + +### 前端复用 + + +为了防止每注册一个后端就要注册相应的前端造成过多开销，我们选择对已经注册好的前端进行复用。如果当多个后端同时使能了同一前端，那么这个前端将会把自己收集的信息多写到这几个后端当中。 + + + + + + +代码实现： + + + +``` +static void pstore_dump(struct kmsg_dumper *dumper, + enum kmsg_dump_reason reason) +{ + struct pstore_info_list *entry; + + rcu_read_lock(); + list_for_each_entry_rcu(entry, &psback->list_entry, list) + if (entry->psi->flags & PSTORE_FLAGS_DMESG) + pstore_do_dump(dumper, reason, entry->psi, entry->index); + rcu_read_unlock(); +} +``` + + +通过rcu锁以及对双向链表遍历的方式，前端可以线程安全地获取所有使能的后端，并且根据后端的使能情况执行写操作。 + + +### 让文件系统更直观 + + +由于多后端的存在，不同后端的输出文件将显得格外混乱，所以通过文件夹对不同后端进行分类的想法是自然而然产生的。 + + +通过修改`inode.c`，在`sys/fs/pstore`下建立相应后端的子文件夹，实现文件归类 + + + + + + +## 总结 + + +多后端支持的引入让pstore的使用更加灵活，可以根据不同后端功能以及业务场景同时使能多个后端，实现互不干扰，和谐共存。 + + + + + + + + diff --git "a/sig/AI/content/\345\206\205\346\240\270\350\260\203\346\265\213/\345\237\272\344\272\216pstore\347\232\204kdump\350\260\203\346\265\213\345\267\245\345\205\267.md" "b/sig/AI/content/\345\206\205\346\240\270\350\260\203\346\265\213/\345\237\272\344\272\216pstore\347\232\204kdump\350\260\203\346\265\213\345\267\245\345\205\267.md" new file mode 100644 index 0000000000000000000000000000000000000000..4236a6963503e0e0f11d62ae24994315c5b0c621 --- /dev/null +++ "b/sig/AI/content/\345\206\205\346\240\270\350\260\203\346\265\213/\345\237\272\344\272\216pstore\347\232\204kdump\350\260\203\346\265\213\345\267\245\345\205\267.md" @@ -0,0 +1,88 @@ +## 简介 + + +基于pstore的kdump调测工具是一个用于收集并存储crash kernel启动并执行vmcore转储过程中串口打印信息的工具，为kdump提供新的feature。 +方便对crash kernel启动并执行dump过程中所遇到的问题进行定位，能够覆盖crash kernel启动的绝大部分时间点。 +目前支持内核态以及用户态信息的全收集。 + + +仓库链接：
+ +网迅网卡已经按此流程合入 ANCK ： +- 支持ANCK-5.10 10GB 网迅网卡驱动: https://gitee.com/anolis/cloud-kernel/pulls/540 +- 支持ANCK-4.19 10GB 网迅网卡驱动: https://gitee.com/anolis/cloud-kernel/pulls/709 +- 支持ANCK-4.19 1GB 网迅网卡驱动: https://gitee.com/anolis/cloud-kernel/pulls/1043 +- 支持ANCK-5.10 1GB 网迅网卡驱动: https://gitee.com/anolis/cloud-kernel/pulls/1063 + +# 重要议题 +- 讨论并决策了将 ANCK-5.10 作为 Anolis8 的默认产品化内核，详情请点击[这里](https://gitee.com/anolis/community/blob/master/proposals/Anolis8%E4%B8%8AANCK-5.10%E4%BA%A7%E5%93%81%E5%8C%96%E7%9A%84%E6%8F%90%E8%AE%AE.md)。 +- 讨论并决策了将 ANCK-5.10 作为 Anolis23 的当前默认内核，详情请点击[这里](https://gitee.com/anolis/community/blob/master/proposals/anck-5.10%E4%BD%9C%E4%B8%BAanolis23%E7%9A%84%E5%86%85%E6%A0%B8%E9%80%89%E5%9E%8B%E7%9A%84%E6%8F%90%E8%AE%AE.md)。 + +# 运营活动 +- [浪潮信息正式发布基于龙蜥 Anolis OS 的服务器操作系统 Inspur KOS](https://openanolis.cn/news/726244284765327879)。 +- 于2022.12.24 举办了“[龙蜥走进系列活动之走进浪潮信息 MeetUp](https://mp.weixin.qq.com/s?__biz=Mzg4MTMyMTUwMQ==&mid=2247510368&idx=1&sn=95a1d511b32670f8388745682483046a&chksm=cf655a12f812d30494be938d7bf8a46b7244711c8fb75f44e8379ab261b1fd4aeb1c8bb0805e&scene=21#wechat_redirect)"，并成立了浪潮信息龙蜥联合实验室，致力于共建龙蜥社区的软硬件兼容性生态、标准建设和技术创新等。 + + +TC2024080403 \ No newline at end of file diff --git "a/sig/AI/content/\346\234\210\346\212\245/2022121.md" "b/sig/AI/content/\346\234\210\346\212\245/2022121.md" new file mode 100644 index 0000000000000000000000000000000000000000..9718d343b780e08f1638b51b2b4574014e947b74 --- /dev/null +++ "b/sig/AI/content/\346\234\210\346\212\245/2022121.md" @@ -0,0 +1 @@ +xcvxcvxcvxcbcvvbasdfsda \ No newline at end of file diff --git "a/sig/AI/content/\346\234\210\346\212\245/202301.md" "b/sig/AI/content/\346\234\210\346\212\245/202301.md" new file mode 100644 index 0000000000000000000000000000000000000000..154fa40ad1d79cabc278e4bf3dcbffdfb9c87047 --- /dev/null +++ "b/sig/AI/content/\346\234\210\346\212\245/202301.md" @@ -0,0 +1,108 @@ +# 整体进展 + + + +修改文件20202202-102-1201-1210201-1- + + + + +- 发布 ANCK 5.10-013 版本。 +- 确定KABI机制整体方案。 +- 浪潮信息龙蜥联合实验室的工作事项更新。 + +# ANCK 5.10-013 版本 + +## 内核更新 + +- 版本更新至 5.10.134-13 +- 重要内核缺陷及安全漏洞(CVE)修复 +- 支持用户态/dev/ioasid +- SWIOTLB机制性能优化 +- virtio-net 打开 napi.tx 优化 TCP Small Queue 性能 +- 支持AST2600 PCIe 2D VGA Driver +- 支持FT2500处理器 +- 支持动态开启Group identity特性 +- arm64平台默认内核启动cmdline调整 +- 添加 Compact Numa Aware (CNA) spinlock 功能支持 +- 丰富arm64的perf mem和perf c2c功能 +- fsck.xfs 支持日志恢复 +- hugetext自适应按需大页 +- 支持SGX动态内存管理 +- 使能wireguard模块 + +## CVE修复列表 + +详情请参考： + +- [Anolis OS 7](https://anas.openanolis.cn/errata/detail/ANSA-2023:0002) +- [Anolis OS 8](https://anas.openanolis.cn/errata/detail/ANSA-2023:0001) + +重要CVE列表: + +- CVE-2021-4037 +- CVE-2022-0171 +- CVE-2022-1679 +- CVE-2022-2585 +- CVE-2022-2586 +- CVE-2022-2588 +- CVE-2022-2602 +- CVE-2022-26373 +- CVE-2022-2663 +- CVE-2022-2905 +- CVE-2022-2978 +- CVE-2022-3028 +- CVE-2022-3061 +- CVE-2022-3169 +- CVE-2022-3176 +- CVE-2022-3435 +- CVE-2022-3521 +- CVE-2022-3524 +- CVE-2022-3534 +- CVE-2022-3535 +- CVE-2022-3542 +- CVE-2022-3545 +- CVE-2022-3564 +- CVE-2022-3565 +- CVE-2022-3566 +- CVE-2022-3567 +- CVE-2022-3586 +- CVE-2022-3594 +- CVE-2022-3621 +- CVE-2022-3623 +- CVE-2022-3625 +- CVE-2022-3628 +- CVE-2022-3629 +- CVE-2022-3633 +- CVE-2022-3635 +- CVE-2022-3646 +- CVE-2022-3649 +- CVE-2022-36946 +- CVE-2022-39189 +- CVE-2022-39190 +- CVE-2022-39842 +- CVE-2022-40307 +- CVE-2022-40768 +- CVE-2022-41222 +- CVE-2022-41674 +- CVE-2022-42719 +- CVE-2022-42720 +- CVE-2022-42721 +- CVE-2022-42722 +- CVE-2022-42895 +- CVE-2022-42896 +- CVE-2022-43750 +- CVE-2022-4378 + +# 龙蜥社区第三方驱动 + +* 提供主流GPU在AnolisOS的Driver、CUDA、cuDNN安装测试与卸载指导文档：https://openanolis.cn/sig/AI_SIG/doc/721423765456666646 + +# 重要议题 + +- 调研并讨论了KABI机制的整体方案与实现细节。 +- 基于浪潮信息龙蜥联合实验室，讨论了关于整机硬件兼容性的相关事项，后续长期共建 AnolisOS 硬件兼容性标准和生态。 + +# 运营活动 + +- 无 diff --git "a/sig/AI/content/\346\234\210\346\212\245/\346\234\210\346\212\245\350\257\264\346\230\216.md" "b/sig/AI/content/\346\234\210\346\212\245/\346\234\210\346\212\245\350\257\264\346\230\216.md" new file mode 100644 index 0000000000000000000000000000000000000000..68a17e8befde71495884a20eda77d2f90e6d8538 --- /dev/null +++ "b/sig/AI/content/\346\234\210\346\212\245/\346\234\210\346\212\245\350\257\264\346\230\216.md" @@ -0,0 +1,18 @@ +- 每月的月初总结发出上月的报告，并更新到 SIG 页面，如 2022.12 + +- 月报包含内容： + + 整体进展：SIG 该月的亮点特性汇总。 + + 具体进展：SIG 该月项目的详细进展，分别展开细节。 + + 重要议题: SIG 该月讨论的重要议题。 + + 运营活动: SIG 该月发生的运营活动。 + + +66666666666666666666666666666666666666666666666 + + +04444433333333333333333333333333333333-- + + + 不写项目编码 + ------------------------ + 热呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃 \ No newline at end of file diff --git "a/sig/AI/content/\346\236\204\345\273\272\345\271\263\345\217\260ABS/LifseaOS \351\225\234\345\203\217.md" "b/sig/AI/content/\346\236\204\345\273\272\345\271\263\345\217\260ABS/LifseaOS \351\225\234\345\203\217.md" new file mode 100644 index 0000000000000000000000000000000000000000..bbd37119efc88b08fc7c9c3c40cb24800b52034a --- /dev/null +++ "b/sig/AI/content/\346\236\204\345\273\272\345\271\263\345\217\260ABS/LifseaOS \351\225\234\345\203\217.md" @@ -0,0 +1 @@ +### 敬请期待 \ No newline at end of file diff --git "a/sig/AI/content/\346\236\204\345\273\272\345\271\263\345\217\260ABS/\344\272\221\345\216\237\347\224\237.md" "b/sig/AI/content/\346\236\204\345\273\272\345\271\263\345\217\260ABS/\344\272\221\345\216\237\347\224\237.md" new file mode 100644 index 0000000000000000000000000000000000000000..e2bb458610b58a3233f42d8a525a3b82a3312e54 --- /dev/null +++ "b/sig/AI/content/\346\236\204\345\273\272\345\271\263\345\217\260ABS/\344\272\221\345\216\237\347\224\237.md" @@ -0,0 +1,54 @@ +# 云原生 +基于微服务架构提高灵活性和可维护性，借助敏捷方法和运维自动化，利用云平台设施实现弹性伸缩、动态调度、优化资源利用率。为方便项目拥有者构建管理， ABS提供了「Docker镜像」、「云原生ACNS版本」构建功能。 + +### Docker镜像 +持续交付提供镜像构建推送至镜像仓库服务，支持不同产品类型和OS架构的镜像文件，并存储于Docker镜像仓库，用于后续的部署任务。 +##### 新建 +点击 「+ 新建」>「Docker镜像」，进入新建页面。 + + +根据需求填写对应的设置参数。 + + +配置参数： + +| 名称 |描述 | +|---|---| +| 镜像名称 | 该产出物为镜像所用名的名称，支持自定义命名。产出物可用于后续部署任务。 | +| 描述 | 概述镜像的内容。 | +| 仓库地址 | 用户所用的仓库地址 | +| 分支名称 | 用户所用的分支 | +| Dockerfile文件路径 | Dockerfile存放的路径URL。| + +##### 删除 +点击镜像详情，右侧的「删除」按钮，即可完成删除。 + + + +### 云原生ACNS版本 +龙蜥云原生套件是龙蜥社区社区云原生SIG输出的基于kubernetes发行版本为基础而集成的套件能力，可以提供一键式部署、开箱即用、以及丰富的云原生基础能力。 +##### 新建 +点击 「+ 新建」>「云原生ACNS版本」，进入新建页面。 + +根据需求填写对应的设置参数。 + + + +配置参数： + +| 名称 |描述 | +|---|---| +| 构建名称 | 该产出物为构建所用名的名称。 | +| 描述 | 概述构建的内容。 | +| 产品及版本 | 目前仅支持基于anolis-cloud-native仓库产品的ACNS构建。| +| 镜像名称 | 默认：anolis-cloud-native | +| 架构 | 目前仅支持x86_84。 | +| 仓库地址 | 使用默认。 | +| 分支名称 | 使用默认。 | + +##### 删除 +点击镜像详情，右侧的「删除」按钮，即可完成删除。 + + + + diff --git "a/sig/AI/content/\346\236\204\345\273\272\345\271\263\345\217\260ABS/\345\206\205\346\240\270\346\272\220\347\240\201.md" "b/sig/AI/content/\346\236\204\345\273\272\345\271\263\345\217\260ABS/\345\206\205\346\240\270\346\272\220\347\240\201.md" new file mode 100644 index 0000000000000000000000000000000000000000..bbd37119efc88b08fc7c9c3c40cb24800b52034a --- /dev/null +++ "b/sig/AI/content/\346\236\204\345\273\272\345\271\263\345\217\260ABS/\345\206\205\346\240\270\346\272\220\347\240\201.md" @@ -0,0 +1 @@ +### 敬请期待 \ No newline at end of file diff --git "a/sig/AI/content/\346\236\204\345\273\272\345\271\263\345\217\260ABS/\350\275\257\344\273\266\345\214\205\346\236\204\345\273\272.md" "b/sig/AI/content/\346\236\204\345\273\272\345\271\263\345\217\260ABS/\350\275\257\344\273\266\345\214\205\346\236\204\345\273\272.md" new file mode 100644 index 0000000000000000000000000000000000000000..fd138f31992c61a1083729a2b5b243e12b8956cd --- /dev/null +++ "b/sig/AI/content/\346\236\204\345\273\272\345\271\263\345\217\260ABS/\350\275\257\344\273\266\345\214\205\346\236\204\345\273\272.md" @@ -0,0 +1,64 @@ +# 软件包构建 +### 介绍 +两种构建模式：\ +1.测试构建：服务开发者进行测试，不作为正式官方发布使用。\ +2.生产构建：服务于官方产品正式构建及发布使用。 + +### 添加软件包 +ABS 提供了添加软件包的功能。你可以在项目 **从外部导入**或**从平台上选择**，将软件包添加到项目中。 + + +#### 从外部倒入 + 点击 「+ 添加软件包」 >「从外部导入」 ，项目拥有者可以从Gitee仓库导入到ABS平台。 + + +Tips：\ + a. 目前只支持Gitee仓库的单个软件包导入。\ + b. 不可重复的导入相同分支下的软件包。\ + c. 软件包描述暂不支持后期修改内容。请项目拥有者谨慎填写。 + +#### 从平台上选择 + 点击 「+ 添加软件包」>「从外部导入」，项目拥有者可以从ABS平台上公开软件包导入。 + + + +### 构建软件包 +#### 需要完成基础设置 +创建项目，并将软件包添加到该项目。 + +#### 项目配置产品和OS架构 + +#### 开始构建 +##### 测试构建 +准备阶段完成后，在软件包详情页右上角点击「测试构建」即可开始。 + + + +##### 生产构建 +准备阶段完成后，在软件包详情页右上角点击「生产构建」即可开始。 + + +然后，选择配置的产品类型。 + +\ +确定后，跳到官方项目下构建。结束后，可查看构建结果。 + +Tips：\ +个人项目的构建默认属于**测试构建**，rpm包如果有maintainer/contributor权限可以提交**生产构建**。 + +#### 构建结果 +构建结束后，可查看构建结果。 + +\ +Tips：\ +成功构建的软件包不可重复构建。 + +构建结果分四个部分： +- **结果状态** + - 根据需求展现软件包构建的龙蜥产品上和OS架构，可通过「Tab标签」切换查看详细构建信息。同时，点击「x86_64」或「Arrch64」查看详细构建日志。 +- **代码库** + - 将记录导入软件包的代码库、分支及提交信息，不受其他分支的影响。 +- **RPM包下载** + - 包含了当前产品和OS架构中的软件包、src源码包。提供用户下载到本地。 +- **YUM源** + - 用户可通过配置网络yum源，从指定的服务器下载并且安装。 \ No newline at end of file diff --git "a/sig/AI/content/\346\236\204\345\273\272\345\271\263\345\217\260ABS/\351\225\234\345\203\217.md" "b/sig/AI/content/\346\236\204\345\273\272\345\271\263\345\217\260ABS/\351\225\234\345\203\217.md" new file mode 100644 index 0000000000000000000000000000000000000000..67ffa853d8ad510f3307545da165ed3279cbb9e3 --- /dev/null +++ "b/sig/AI/content/\346\236\204\345\273\272\345\271\263\345\217\260ABS/\351\225\234\345\203\217.md" @@ -0,0 +1,63 @@ +# 镜像 + +### ISO镜像 +ABS提供了Rebrand镜像构建推送至镜像仓库服务，并存储于服务器仓库，用于后续的下载和部署任务。一键构建基于Anolis OS发行版的ISO镜像。目前该功能可以支持用户自定义替换ISO镜像中的「logo文字信息」、「图片信息」等信息。 + +#### 一.镜像列表 +镜像列表将不同阶段和架构类型的镜像集合，每个镜像有不同的构建状态组成。 +镜像列表分为4个部分： +1. **搜索框:** 通过搜索功能，可以在快速通过镜像名称全局范围内查找镜像。 +2. **新建镜像:** 可新建ISO镜像和VHD镜像。 +3. **排序:** 按照条件筛选查找镜像。 +4. **镜像总览:** 主要提供了镜像维度和构建状态总览两个视角。 + + + +#### 二.如何新建镜像和删除 + +##### 新建 +点击 「+ 新建Rebrand镜像」 ，可以进入表单填写页，根据需求填写对应的设置参数。 + + +基本格式如下： + +| 名称 | 描述 | +|------|------| +| 镜像名称 | 生成镜像文件的名称。 | +| OS 架构 | 生成的镜像能够在此架构上安装，支持x86_64和aarch64架构，更多类型正在接入中。 | +| 产品及版本 | 基于此产品进行镜像构建，支持Anolis OS 8.4，更多产品类型正在接入中。 | +| 镜像类型 | 生成镜像的文件格式，支持ISO镜像，更多镜像类型正在接入中。 | +| 构建模式 | 这里是列表文本生成镜像的模式，支持最小化镜像和全量镜像。| +| 描述 | 用于本次生成镜像的描述说明。 | +| 系统信息 |用于修改需要rebrand包的配置信息，包含名称配置和图标配置。 | +| 名称配置 | 用于修改anolis-release包中的信息，包含产品名称、系统名称、系统ID、官方地址等参数。 | +| 图标配置 | 用于修改anolis-logos包中的信息，包含产品名称、系统LOGO、系统ICON、桌面背景图等参数。 | +| 产品名称 | 对应DIST字段，例如Anolis OS 8的产品名称为；an8。| +| 系统名称 | 勾选名称配置后为必填项，在os-release中对应NAME字段。 | +| 系统ID | 勾选名称配置后为必填项，在os-release中对应ID字段。 | +| 官方地址 | 勾选名称配置后为必填项，在os-release中对应HOME_URL字段。 | +| 系统LOGO | 勾选图标配置后为必填项，svg类型图片，大小不超过1MB，尺寸不限。 | +| 系统ICON | 勾选图标配置后为必填项，svg类型图片，大小不超过1MB，尺寸不限。 | +| 桌面背景图 | 勾选图标配置后为必填项，png类型图片，大小不超过10MB，尺寸不限，推荐使用1920x1200px，其它尺寸可能造成显示的图片变形或模糊等问题。 | + +注： +1. 最小化镜像：是指仅包含操作系统发行版的基础应用软件包的镜像，这些基础应用软件包可以保证操作系统正常启动。容量大约为1G左右。 +2. 全量镜像：是指包含了操作系统发行版的所有应用软件包的镜像。容量大约为8G左右。 +3. 选择最小化镜像模式如果替换了图标配置，在镜像安装之后并不会立即显示图片信息，需要用户手动安装桌面应用之后（例如 KDE 或者 GNOME 等），才会正常显示替换之后的图片信息。 +4. 仅支持1个构建一个镜像同时构建，如需构建多个镜像，请在上一个镜像构建完成后，再次进行构建镜像。 + +##### 删除 +选择要删除的镜像，在详情页右上角选择「删除」即可。 + + + + +### VHD镜像 +#### 敬请期待 + + + + + + + diff --git "a/sig/AI/content/\351\276\231\350\234\245\345\256\236\351\252\214\345\256\244/\351\276\231\350\234\245\345\256\236\351\252\214\345\256\244\350\257\276\347\250\213\346\216\245\345\205\245\346\214\207\345\257\274.md" "b/sig/AI/content/\351\276\231\350\234\245\345\256\236\351\252\214\345\256\244/\351\276\231\350\234\245\345\256\236\351\252\214\345\256\244\350\257\276\347\250\213\346\216\245\345\205\245\346\214\207\345\257\274.md" new file mode 100644 index 0000000000000000000000000000000000000000..d13161ade3d8431eaeddc633ac4bdedc72a2e099 --- /dev/null +++ "b/sig/AI/content/\351\276\231\350\234\245\345\256\236\351\252\214\345\256\244/\351\276\231\350\234\245\345\256\236\351\252\214\345\256\244\350\257\276\347\250\213\346\216\245\345\205\245\346\214\207\345\257\274.md" @@ -0,0 +1,38 @@ +龙蜥实验室【创作中心】服务于实验室课程学习中心，用户可通过在创作中心创作课程，提交 PR ，管理员审核，最终进行上架。 + +一、登录[龙蜥实验室](https://lab.openanolis.cn/)，如果没有注册过龙蜥社区需要先进行注册。实验室首页如下图所示： + +二、打开创作中心，把鼠标放在右上角个人头像上会出现下拉选择框，选择【创作中心】 + +三、创作课程，点击右上角【创作课程】按钮 + +打开创作课程后填写课程信息，其中字段描述如下： + +1. 课程名称：课程展示的标题；2. 课程描述：课程描述；3. 课程分类：选择课程学习；4. 课程难度：分为初级、中级、高级等，选择对应的课程难度；5: 课程总时长：输入一个数字，比如30，代表用户学习完课程需要花费30min；6：课程封面图：可以上传自定义的课程封面，如果不上传则有默认封面图提供；7. 课程领域: 目前提供内核、编译器、云原生、CentOS 迁移、算法、IO、DDE等领域分类，选择一个课程所属的领域。 + + +填完课程基本信息后添加保存即可。 + +三、添加章节，创作完课程之后为课程添加一个章节，在课程最后侧点击【添加章节】按钮 + +打开添加章节后填写章节信息，其中字段描述如下： + +1. 章节名称：章节展示的标题；2. 章节描述：章节描述；3. 章节难度：分为初级、中级、高级等，选择对应的章节难度；5: 章节总时长：输入一个数字，比如30，代表用户学习完章节需要花费30min，此时实验室提供的机器使用时长也是30min，超过30min后机器会被自动释放；6：章节封面图：可以上传自定义的章节封面，如果不上传则有默认封面图提供；7. 排序: 章节在课程中的顺序，值为1表示是课程的第一个章节，依次类推；8. 最大并发数：章节允许同时体验的最大人数,0默认不限制，由于实验室机器资源有限，一般取值不超过10个；9. cpu架构：机器的cpu机构，目前有x86和arm 两种；10. 镜像：机器安装的系统镜像，一般选择AnolisOS 8 版本或AnolisOS 7 版本；11. 机器规格：机器提供的规格大小，一般为2c4g或2c8g（c代表cpu, g 代表内存）, 其他特殊机器规格申请会被严格审核，如神龙架构的bare_metal和第七代机器ecs.g7.xlarge等。 + + +四、添加步骤，填写完章节信息之后，点击【添加 Steps】按钮，为章节添加一个步骤，其中 +步骤类型分为START、STEPS、FINISH, START表示步骤开始，顺序为1，STEPS 为步骤正文，FINISH 为步骤结束。右侧是一个 Markdown 输入框，用于输入步骤内容，支持预览，上传图片等操作。 + +添加完步骤后点击保存即可，如果步骤内容中有 shell 命令, 请使用 [[ ]] 替代markdown中的代码格式，这样审核通过后可以在页面上直接点击命令将命令自动粘贴到右侧的终端内。 + +五、提交审核，课程编写完成之后可以通过【预览】功能进行预览，没有问题之后点击【下载配置】按钮进行配置下载，下载完之后点击【提交审核】按钮 + +点击完提交审核按钮之后，将下载下来的配置在gitee仓库(https://gitee.com/anolis/anolis-lab-courses)，anolis-courses 目录下提交一个课程pr,并将pr链接填进输入框，点击确定即可。 + + +六、提交审核之后等待管理员审核，管理员审核通过之后在实验室课程中心就能看到了 + +以上就是龙蜥实验室创作中心创作课程的完整过程，如使用过程中有问题，欢迎联系[基础设施 SIG 组](https://openanolis.cn/sig/SIG-Infra)。 + + +加点内容 diff --git a/sig/AI/sig-info.yaml b/sig/AI/sig-info.yaml new file mode 100644 index 0000000000000000000000000000000000000000..6158469e2cdb31f428ebc29963a9b02e92b6f9b1 --- /dev/null +++ b/sig/AI/sig-info.yaml @@ -0,0 +1,25 @@ +name: 人工智能兴趣小组 +en_name: AI +home_page: https://openanolis.cn/sig/AI_SIG +description: AI SIG致力于构建Anolis OS上AI软件栈，包括流行AI框架TensorFlow/PyTorch等，AI加速库，和相应软件方案。 +en_description: AI SIG is committed to building the AI software stack on Anolis OS, including popular AI frameworks TensorFlow/PyTorch, AI acceleration libraries, and corresponding software solutions. +mailing_list: os@lists.openanolis.cn +avatar: assets/头像/images.jpg +maintainers: +- openanolis_id: linsheng + gitee_id: forrest_ly +- openanolis_id: linddd + gitee_id: zhonglingh +- openanolis_id: wenhuanh + gitee_id: + +contributors: +- openanolis_id: + gitee_id: + +repositories: +- repo: + - src-anolis-ai/pytorch + - src-anolis-ai/intel-extension-for-pytorch + - src-anolis-ai/neural-compressor + - src-anolis-ai/tensorflow \ No newline at end of file diff --git a/sig/ARM_SIG/README.md b/sig/ARM_SIG/README.md new file mode 100644 index 0000000000000000000000000000000000000000..db01cac5f4bb7b533e880edd35e3db46843887a3 --- /dev/null +++ b/sig/ARM_SIG/README.md @@ -0,0 +1,13 @@ +## SIG说明 + +ARM ARCH SIG致力于ARM架构软件生态的共建和推广，以及基于Anolis社区ANCK内核支持ARM Vendors平台。 + +## 邮件列表 +arm-arch@lists.openanolis.cn + +## 代码仓库 +https://gitee.com/anolis/arm-cloud-kernel + +## 钉钉群 + +欢迎使用钉钉扫码入群 diff --git a/sig/ARM_SIG/assets/EL0_Recovery.png b/sig/ARM_SIG/assets/EL0_Recovery.png new file mode 100644 index 0000000000000000000000000000000000000000..11249e124c68c62a9a8c117ed7f8e66bbb6f718b Binary files /dev/null and b/sig/ARM_SIG/assets/EL0_Recovery.png differ diff --git a/sig/ARM_SIG/assets/EL2_Recovery_x86.png b/sig/ARM_SIG/assets/EL2_Recovery_x86.png new file mode 100644 index 0000000000000000000000000000000000000000..a1233d7128fe1ec373afd5ff427620378bf40d39 Binary files /dev/null and b/sig/ARM_SIG/assets/EL2_Recovery_x86.png differ diff --git a/sig/ARM_SIG/assets/MCA_categories.jpg b/sig/ARM_SIG/assets/MCA_categories.jpg new file mode 100644 index 0000000000000000000000000000000000000000..afd423dee769926c644b453975cdb6a004c7c0f8 Binary files /dev/null and b/sig/ARM_SIG/assets/MCA_categories.jpg differ diff --git a/sig/ARM_SIG/assets/MCA_categories_2.png b/sig/ARM_SIG/assets/MCA_categories_2.png new file mode 100644 index 0000000000000000000000000000000000000000..6a46e29955b200eab826bc0c425fe190774652e7 Binary files /dev/null and b/sig/ARM_SIG/assets/MCA_categories_2.png differ diff --git a/sig/ARM_SIG/assets/RAS_OS_Error_Flow.png b/sig/ARM_SIG/assets/RAS_OS_Error_Flow.png new file mode 100644 index 0000000000000000000000000000000000000000..abb2fbd9cc39832fc3ce6eb115bcca757016619c Binary files /dev/null and b/sig/ARM_SIG/assets/RAS_OS_Error_Flow.png differ diff --git a/sig/ARM_SIG/assets/Scrub_Recovery.png b/sig/ARM_SIG/assets/Scrub_Recovery.png new file mode 100644 index 0000000000000000000000000000000000000000..c9ba9f5cfa19da1291fd4b9832f4c9a8061ac326 Binary files /dev/null and b/sig/ARM_SIG/assets/Scrub_Recovery.png differ diff --git a/sig/ARM_SIG/assets/bugzilla/addsubcomponent.png b/sig/ARM_SIG/assets/bugzilla/addsubcomponent.png new file mode 100644 index 0000000000000000000000000000000000000000..da3af54f3450ea84affa34b16a33bc976ba963b7 Binary files /dev/null and b/sig/ARM_SIG/assets/bugzilla/addsubcomponent.png differ diff --git a/sig/ARM_SIG/assets/bugzilla/api-key.png b/sig/ARM_SIG/assets/bugzilla/api-key.png new file mode 100644 index 0000000000000000000000000000000000000000..8da3b0b4bcd782b45eae82070449d6d781c149d0 Binary files /dev/null and b/sig/ARM_SIG/assets/bugzilla/api-key.png differ diff --git a/sig/ARM_SIG/assets/bugzilla/api.png b/sig/ARM_SIG/assets/bugzilla/api.png new file mode 100644 index 0000000000000000000000000000000000000000..c5bcfd5a1c16170f395955f1b2041076da5d6f5f Binary files /dev/null and b/sig/ARM_SIG/assets/bugzilla/api.png differ diff --git a/sig/ARM_SIG/assets/bugzilla/bug-list-2.png b/sig/ARM_SIG/assets/bugzilla/bug-list-2.png new file mode 100644 index 0000000000000000000000000000000000000000..39e04916cf945d9f603632a229e19ad6b1865e63 Binary files /dev/null and b/sig/ARM_SIG/assets/bugzilla/bug-list-2.png differ diff --git a/sig/ARM_SIG/assets/bugzilla/bug-list.png b/sig/ARM_SIG/assets/bugzilla/bug-list.png new file mode 100644 index 0000000000000000000000000000000000000000..a0775ffe79b52631e654895556103115f22e85d7 Binary files /dev/null and b/sig/ARM_SIG/assets/bugzilla/bug-list.png differ diff --git a/sig/ARM_SIG/assets/bugzilla/bugstatus.png b/sig/ARM_SIG/assets/bugzilla/bugstatus.png new file mode 100644 index 0000000000000000000000000000000000000000..7b4e7ccaf993aca09bf37ac862b08e839fd191be Binary files /dev/null and b/sig/ARM_SIG/assets/bugzilla/bugstatus.png differ diff --git a/sig/ARM_SIG/assets/bugzilla/bugzilla-anolis.png b/sig/ARM_SIG/assets/bugzilla/bugzilla-anolis.png new file mode 100644 index 0000000000000000000000000000000000000000..cf914707ac0d4ade10b928502fb47b07d02f5253 Binary files /dev/null and b/sig/ARM_SIG/assets/bugzilla/bugzilla-anolis.png differ diff --git a/sig/ARM_SIG/assets/bugzilla/bugzillarc.png b/sig/ARM_SIG/assets/bugzilla/bugzillarc.png new file mode 100644 index 0000000000000000000000000000000000000000..2b3e4d5673cdcd02b61dd1817a5e49986010060f Binary files /dev/null and b/sig/ARM_SIG/assets/bugzilla/bugzillarc.png differ diff --git a/sig/ARM_SIG/assets/bugzilla/classification.png b/sig/ARM_SIG/assets/bugzilla/classification.png new file mode 100644 index 0000000000000000000000000000000000000000..07c235f1d7f122599ad0641ee9bc21671c94f3f5 Binary files /dev/null and b/sig/ARM_SIG/assets/bugzilla/classification.png differ diff --git a/sig/ARM_SIG/assets/bugzilla/deletesubcomponent.png b/sig/ARM_SIG/assets/bugzilla/deletesubcomponent.png new file mode 100644 index 0000000000000000000000000000000000000000..097430a9249544cca595902aa856c01da7133500 Binary files /dev/null and b/sig/ARM_SIG/assets/bugzilla/deletesubcomponent.png differ diff --git a/sig/ARM_SIG/assets/bugzilla/edit-param.png b/sig/ARM_SIG/assets/bugzilla/edit-param.png new file mode 100644 index 0000000000000000000000000000000000000000..b3e140c9fefe0c30cffcf7dd00141ed8f998f516 Binary files /dev/null and b/sig/ARM_SIG/assets/bugzilla/edit-param.png differ diff --git a/sig/ARM_SIG/assets/bugzilla/mainpage1.png b/sig/ARM_SIG/assets/bugzilla/mainpage1.png new file mode 100644 index 0000000000000000000000000000000000000000..e3c95a9747fff20215a61d4dba6fa60c75a7cf44 Binary files /dev/null and b/sig/ARM_SIG/assets/bugzilla/mainpage1.png differ diff --git a/sig/ARM_SIG/assets/bugzilla/new.png b/sig/ARM_SIG/assets/bugzilla/new.png new file mode 100644 index 0000000000000000000000000000000000000000..7b65c11767943b0409538d4bcfd466c8a21de0ef Binary files /dev/null and b/sig/ARM_SIG/assets/bugzilla/new.png differ diff --git a/sig/ARM_SIG/assets/bugzilla/param-info.png b/sig/ARM_SIG/assets/bugzilla/param-info.png new file mode 100644 index 0000000000000000000000000000000000000000..9cddc2d5694f2e841ba6dec5f278e56d42989df8 Binary files /dev/null and b/sig/ARM_SIG/assets/bugzilla/param-info.png differ diff --git a/sig/ARM_SIG/assets/bugzilla/plugin.png b/sig/ARM_SIG/assets/bugzilla/plugin.png new file mode 100644 index 0000000000000000000000000000000000000000..9a07422cdf8e1d6bd8d2e57f8eb8ff965c1acd4e Binary files /dev/null and b/sig/ARM_SIG/assets/bugzilla/plugin.png differ diff --git a/sig/ARM_SIG/assets/bugzilla/product.png b/sig/ARM_SIG/assets/bugzilla/product.png new file mode 100644 index 0000000000000000000000000000000000000000..fcb90e9376149b00e715fd465431a7f42778c9a1 Binary files /dev/null and b/sig/ARM_SIG/assets/bugzilla/product.png differ diff --git a/sig/ARM_SIG/assets/bugzilla/sub component.png b/sig/ARM_SIG/assets/bugzilla/sub component.png new file mode 100644 index 0000000000000000000000000000000000000000..2a2806d3a09952ab3e73fd9ad2af0960bbf45c39 Binary files /dev/null and b/sig/ARM_SIG/assets/bugzilla/sub component.png differ diff --git a/sig/ARM_SIG/assets/m1_ras_flow.png b/sig/ARM_SIG/assets/m1_ras_flow.png new file mode 100644 index 0000000000000000000000000000000000000000..aacfbe4232050ab2b66b0346d1bfdbb5989c0824 Binary files /dev/null and b/sig/ARM_SIG/assets/m1_ras_flow.png differ diff --git a/sig/ARM_SIG/assets/ras_x86.png b/sig/ARM_SIG/assets/ras_x86.png new file mode 100644 index 0000000000000000000000000000000000000000..95cba3f7f67f7c77dfee2324afff3e20656a18de Binary files /dev/null and b/sig/ARM_SIG/assets/ras_x86.png differ diff --git a/sig/ARM_SIG/assets/uaccess.png b/sig/ARM_SIG/assets/uaccess.png new file mode 100644 index 0000000000000000000000000000000000000000..4325aae4893ac70cba21f7b47faedabca668657d Binary files /dev/null and b/sig/ARM_SIG/assets/uaccess.png differ diff --git a/sig/ARM_SIG/content/RAS/Anolis OS Cloud Kernel RAS White Paper.md b/sig/ARM_SIG/content/RAS/Anolis OS Cloud Kernel RAS White Paper.md new file mode 100644 index 0000000000000000000000000000000000000000..aff77f788cd9a721b818e696bcaadfd047222640 --- /dev/null +++ b/sig/ARM_SIG/content/RAS/Anolis OS Cloud Kernel RAS White Paper.md @@ -0,0 +1,982 @@ +# Anolis OS Cloud Kernel: RAS White Paper + +## REVISION HISTORY + +| DATE | VERSION | DESCRIPTION | AUTHOR | APPROVER | +| ---------- | ------- | --------------- | ----------------------- | ----------- | +| 2022/12/31 | 1.0 | Initial version | Shuai Xue, Ruidong Tian | Baolin Wang | + +## Terms and Abbreviations + +| Abbreviation | Definition | +| ------------ | ----------------------------------------------------------------------------- | +| RAS | Reliability, Availability and Serviceability | +| SLA | Service Level Agreement | +| CE | Correctable Error | +| UCE | Uncorrected Correctable Error | +| MCA | Machine-Check Architecture | +| CMCI | Corrected Machine Check Interrupt | +| MCE | Machine-Check Exception | +| SEA | Synchronous External Abort | +| ELx | Exception levels are referred to as EL
make
insmod pgprot_drv.ko pgprot=4
../memattr| +| ras-tolerance | No | Arm | This driver allows to overwrite error severity to a lower level at runtime, recoverable by default. It is useful for test. | cd ras-tolerance
make
insmod ras_tolerance.ko| + +#### Install + +On servers running Anolis OS, you can install ras-tools through `yum`. On other OSes, you could build it from scratch. + +``` bash +yum install ras-tools +``` + +#### Memory Failure Recovery Validation + +The `einj_mem_uc` tool allocates pages, injects an error and then triggers it in one of a variety of ways. It intends to do a coverage test for testing the Linux RAS related features, including CPU/Memory error containment and recovery. + +##### AR Validation + +###### User Space AR-data Recovery + +In the case of an AR-data abort event e.g. `single`, `doube`,`split`,`hugetlb`,etc, the kernel will attempt to hard-offline the page, by poisoning the page and killing accessing process. For example, `single` case, it injects an uncorrected error and triggers the error by reading a byte. + +```bash +# einj_mem_uc single +0: single vaddr = 0xffff857a3400 paddr = 8e6157400 +injecting ... +triggering ... +signal 7 code 4 addr 0xffff857a3400 +page not present +Test passed +``` + +`einj_mem_uc` will print the received signal and its code, in the above case, + +- signal 7: SIGBUS +- code 4: BUS_MCEERR_AR 4 + +The dmesg log: + +```bash +[ 1785.908893] EDAC MC0: 1 UE multi-symbol chipkill ECC on unknown memory (node:0 card:0 module:0 rank:0 bank_group:1 bank_address:2 device:0 row:920 column:896 chip_id:0 page:0x8e6157 offset:0x400 grain:1 - APEI location: node:0 card:0 module:0 rank:0 bank_group:1 bank_address:2 device:0 row:920 column:896 chip_id:0 status(0x0000000000000400): Storage error in DRAM memory) +[ 1785.908900] {1}[Hardware Error]: Hardware error from APEI Generic Hardware Error Source: 2 +[ 1785.919531] {1}[Hardware Error]: event severity: recoverable +[ 1785.925176] {1}[Hardware Error]: precise tstamp: 2023-01-17 18:05:09 +[ 1785.931600] {1}[Hardware Error]: Error 0, type: recoverable +[ 1785.937244] {1}[Hardware Error]: section_type: memory error +[ 1785.942975] {1}[Hardware Error]: error_status: Storage error in DRAM memory (0x0000000000000400) +[ 1785.952004] {1}[Hardware Error]: physical_address: 0x00000008e6157400 +[ 1785.958603] {1}[Hardware Error]: node:0 card:0 module:0 rank:0 bank_group:1 bank_address:2 device:0 row:920 column:896 chip_id:0 +[ 1785.970409] {1}[Hardware Error]: error_type: 5, multi-symbol chipkill ECC +[ 1785.977355] {1}[Hardware Error]: type: DDR (0x50), common_reg_nr:1 +[ 1785.983606] {1}[Hardware Error]: Synchronous Exception taken in EL0 +[ 1785.989944] {1}[Hardware Error]: ESR: 0x92000410, ELR: 0x403abc, FAR: 0xfa00a88, SCR: 0x403073d, SCTLR: 0x30cd183f, LR: 0x403abc +[ 1786.001578] {1}[Hardware Error]: ECCERRCNT: 0x10000, ECCSTAT: 0x0, ADVECCSTAT: 0x8000002, ECCSYMBOL: 0x170000, ECCERRCNTSTAT: 0x0, ECCERRCNT0: 0x0, ECCERRCNT1: 0x0, ECCCADDR0: 0x0, ECCCADDR1: 0x0, ECCCDATA0: 0x0, ECCCDATA1: 0x0, ECCUADDR0: 0x398, ECCUADDR1: 0x1020380, ECCUDATA0: 0x1ff, ECCUDATA1: 0x0 +[ 1786.036640] Memory failure: 0x8e6157: recovery action for dirty LRU page: Recovered + +``` + +###### User Space AR-instruction Recovery + +In the case of an AR-instruction abort event, e.g. `instr`, it injects an uncorrected error and triggers the error by reading a byte. The kernel will attempt to hard-offline the page. It unmaps the corrupted page, reloads the 4KB page containing the instruction to a new physical page and resumes normal operation. + +```bash +# einj_mem_uc instr +0: instr vaddr = 0x403000 paddr = 8bba93000 +injecting ... +triggering ... +Test passed +``` + +The dmesg log: + +```bash +[ 1945.804589] EDAC MC0: 1 UE multi-symbol chipkill ECC on unknown memory (node:0 card:7 module:0 rank:1 bank_group:1 bank_address:3 device:0 row:527 column:640 chip_id:0 page:0x40883e65 offset:0x0 grain:1 - APEI location: node:0 card:7 module:0 rank:1 bank_group:1 bank_address:3 device:0 row:527 column:640 chip_id:0 status(0x0000000000000400): Storage error in DRAM memory) +[ 1945.804596] {3}[Hardware Error]: Hardware error from APEI Generic Hardware Error Source: 2 +[ 1945.815209] {3}[Hardware Error]: event severity: recoverable +[ 1945.820854] {3}[Hardware Error]: precise tstamp: 2023-01-17 18:07:49 +[ 1945.827280] {3}[Hardware Error]: Error 0, type: recoverable +[ 1945.832924] {3}[Hardware Error]: section_type: memory error +[ 1945.838654] {3}[Hardware Error]: error_status: Storage error in DRAM memory (0x0000000000000400) +[ 1945.847683] {3}[Hardware Error]: physical_address: 0x0000040883e65000 +[ 1945.854283] {3}[Hardware Error]: node:0 card:7 module:0 rank:1 bank_group:1 bank_address:3 device:0 row:527 column:640 chip_id:0 +[ 1945.866089] {3}[Hardware Error]: error_type: 5, multi-symbol chipkill ECC +[ 1945.873035] {3}[Hardware Error]: type: DDR (0x50), common_reg_nr:1 +[ 1945.879286] {3}[Hardware Error]: Synchronous Exception taken in EL0 +[ 1945.885625] {3}[Hardware Error]: ESR: 0x82000010, ELR: 0x403000, FAR: 0x403000, SCR: 0x403073d, SCTLR: 0x30cd183f, LR: 0x403f94 +[ 1945.906459] {3}[Hardware Error]: ECCERRCNT: 0x10000, ECCSTAT: 0x0, ADVECCSTAT: 0x8000002, ECCSYMBOL: 0x140000, ECCERRCNTSTAT: 0x0, ECCERRCNT0: 0x0, ECCERRCNT1: 0x0, ECCCADDR0: 0x0, ECCCADDR1: 0x0, ECCCDATA0: 0x0, ECCCDATA1: 0x0, ECCUADDR0: 0x100020f, ECCUADDR1: 0x1030280, ECCUDATA0: 0x1ff, ECCUDATA1: 0x0 +[ 1945.934071] Memory failure: 0x40883e65: corrupted page was clean: dropped without side effects +[ 1945.934084] Memory failure: 0x40883e65: recovery action for clean LRU page: Recovered +``` + +###### Kernel Space AR Recovery + +Kernel Space AR Recovery is only supported on X86 platform and we are still working on it on Arm64 platform. The recovery is evaluated on X86 icelake processor. + +First, inject an uncorrected error and trigger it by writing a buffer to a file. Kernel will copy data from user space and then write to disk. + +```bash +# einj_mem_uc copyin -f +0: copyin vaddr = 0x7f8f873e2400 paddr = 2869c1400 +injecting ... +triggering ... +einj_mem_uc: couldn't write temp file (errno=14) +Big surprise ... still running. Thought that would be fatal +Saw local machine check +Test passed +``` + +As we can see, the process is still running and the return errno for the write(2) is EFAULT(14). + +The dmesg log: + +```bash +SetMemoryDeviceStatus UCE error. Data = 00 4C A5 01 02 00 06 01 05 00 00 00 00 00 Status = Success +[15322.535921] mce: Kernel accessed poison in user space at 2869c1400 +[15322.536023] {2}[Hardware Error]: Hardware error from APEI Generic Hardware Error Source: 0 +[15322.542117] Memory failure: 0x2869c1: recovery action for dirty LRU page: Recovered +[15322.550382] {2}[Hardware Error]: event severity: recoverable +[15322.550385] {2}[Hardware Error]: Error 0, type: recoverable +[15322.558042] Memory failure: 0x2869c1: already hardware poisoned +[15322.563710] {2}[Hardware Error]: fru_text: Card02, ChnF, DIMM0 +[15322.563712] {2}[Hardware Error]: section_type: memory error +[15322.586981] {2}[Hardware Error]: error_status: Storage error in DRAM memory (0x0000000000000400) +[15322.596027] {2}[Hardware Error]: physical_address: 0x00000002869c1400 +[15322.602650] {2}[Hardware Error]: node:1 card:5 module:0 rank:0 bank:13 device:0 row:2075 column:8 +[15322.611783] {2}[Hardware Error]: error_type: 3, multi-bit ECC +[15322.617710] {2}[Hardware Error]: DIMM location: not present. DMI handle: 0x0000 +[15322.625304] Memory failure: 0x2869c1: already hardware poisoned +[15322.631827] EDAC MC6: 1 UE memory read error on CPU_SrcID#1_MC#2_Chan#1_DIMM#0 (channel:1 slot:0 page:0x2869c1 offset:0x400 grain:32 - err_code:0x00a0:0x0091 SystemAddress:0x2869c1400 ProcessorSocketId:0x1 MemoryControllerId:0x2 ChannelAddress:0x2069c000 ChannelId:0x1 RankAddress:0x1034e000 PhysicalRankId:0x0 DimmSlotId:0x0 Row:0x81b Column:0x8 Bank:0x1 BankGroup:0x3 ChipSelect:0x0 ChipId:0x0) +[15322.667403] EDAC MC6: 1 UE memory read error on CPU_SrcID#1_MC#2_Chan#1_DIMM#0 (channel:1 slot:0 page:0x2869c1 offset:0x400 grain:32 - err_code:0x0000:0x009f SystemAddress:0x2869c1400 ProcessorSocketId:0x1 MemoryControllerId:0x2 ChannelAddress:0x2069c000 ChannelId:0x1 RankAddress:0x1034e000 PhysicalRankId:0x0 DimmSlotId:0x0 Row:0x81b Column:0x8 Bank:0x1 BankGroup:0x3 ChipSelect:0x0 ChipId:0x0) +``` + +futex(2) is another system call in which kernel copies data from user space. Inject an uncorrected error and trigger it by issuing `FUTEX_WAIT` operation. + +```bash +# einj_mem_uc futex -f +0: futex vaddr = 0x7f8a1da83400 paddr = 25751d400 +injecting ... +triggering ... +futex returned with errno=14 +Big surprise ... still running. Thought that would be fatal +Unusual number of MCEs seen: 2 +Test passed +``` + +There are many retries in futex(2) mechanism, so it is possible to see many MCEs. + +The dmesg log: + +```bash +SetMemoryDeviceStatus UCE error. Data = 00 4C A5 01 02 00 06 01 05 00 00 00 00 00 Status = Success +[15521.242381] mce: Kernel accessed poison in user space at 25751d400 +[15521.242437] {4}[Hardware Error]: Hardware error from APEI Generic Hardware Error Source: 0 +[15521.248581] Memory failure: 0x25751d: recovery action for dirty LRU page: Recovered +[15521.256842] {4}[Hardware Error]: event severity: recoverable +[15521.256845] {4}[Hardware Error]: Error 0, type: recoverable +[15521.256847] {4}[Hardware Error]: fru_text: Card02, ChnF, DIMM0 +[15521.264506] Memory failure: 0x25751d: already hardware poisoned +[15521.270172] {4}[Hardware Error]: section_type: memory error +[15521.270173] {4}[Hardware Error]: error_status: Storage error in DRAM memory (0x0000000000000400) +[15521.270174] {4}[Hardware Error]: physical_address: 0x000000025751d400 +[15521.309103] {4}[Hardware Error]: node:1 card:5 module:0 rank:0 bank:4 device:0 row:1882 column:896 +[15521.318322] {4}[Hardware Error]: error_type: 3, multi-bit ECC +[15521.324252] {4}[Hardware Error]: DIMM location: not present. DMI handle: 0x0000 +[15521.331824] {4}[Hardware Error]: Error 1, type: recoverable +[15521.337484] {4}[Hardware Error]: section_type: memory error +[15521.343240] {4}[Hardware Error]: error_status: Storage error in DRAM memory (0x0000000000000400) +[15521.352286] {4}[Hardware Error]: physical_address: 0x000000025751d400 +[15521.358910] {4}[Hardware Error]: node:1 +[15521.363017] {4}[Hardware Error]: error_type: 3, multi-bit ECC +[15521.369040] Memory failure: 0x25751d: already hardware poisoned +[15521.374974] Memory failure: 0x25751d: already hardware poisoned +[15521.381515] EDAC MC6: 1 UE memory read error on CPU_SrcID#1_MC#2_Chan#1_DIMM#0 (channel:1 slot:0 page:0x25751d offset:0x400 grain:32 - err_code:0x00a0:0x0091 SystemAddress:0x25751d400 ProcessorSocketId:0x1 MemoryControllerId:0x2 ChannelAddress:0x1d751c00 ChannelId:0x1 RankAddress:0xeba9c00 PhysicalRankId:0x0 DimmSlotId:0x0 Row:0x75a Column:0x380 Bank:0x0 BankGroup:0x1 ChipSelect:0x0 ChipId:0x0) +[15521.417060] EDAC MC6: 1 UE memory read error on CPU_SrcID#1_MC#2_Chan#1_DIMM#0 (channel:1 slot:0 page:0x25751d offset:0x400 grain:32 - err_code:0x0000:0x009f SystemAddress:0x25751d400 ProcessorSocketId:0x1 MemoryControllerId:0x2 ChannelAddress:0x1d751c00 ChannelId:0x1 RankAddress:0xeba9c00 PhysicalRankId:0x0 DimmSlotId:0x0 Row:0x75a Column:0x380 Bank:0x0 BankGroup:0x1 ChipSelect:0x0 ChipId:0x0) +[15521.452740] EDAC MC6: 1 UE memory read error on CPU_SrcID#1_MC#2_Chan#1_DIMM#0 (channel:1 slot:0 page:0x25751d offset:0x400 grain:32 - err_code:0x0000:0x009f SystemAddress:0x25751d400 ProcessorSocketId:0x1 MemoryControllerId:0x2 ChannelAddress:0x1d751c00 ChannelId:0x1 RankAddress:0xeba9c00 PhysicalRankId:0x0 DimmSlotId:0x0 Row:0x75a Column:0x380 Bank:0x0 BankGroup:0x1 ChipSelect:0x0 ChipId:0x0) +``` + +##### AO Validation + +###### AO Patrol Recovery + +In the case of an AO event e.g. `patrol`, the kernel will attempt to hard-offline the page, by just poisoning and unmapping the page. Inject and trigger patrol error. Note, in this section, the HWPoison-aware strategy is default late kill. + +```bash +# einj_mem_uc patrol +0: patrol vaddr = 0xffff9d523400 paddr = 400a2575400 +injecting ... +triggering ... +page not present +Test passed +``` + +The dmesg log: + +```bash +[ 2026.290450] EDAC MC0: 1 UE scrub uncorrected error on unknown memory (node:0 card:6 module:0 rank:0 bank_group:2 bank_address:3 device:0 row:137 column:640 chip_id:0 page:0x400a2575 offset:0x400 grain:1 - APEI location: node:0 card:6 module:0 rank:0 bank_group:2 bank_address:3 device:0 row:137 column:640 chip_id:0 status(0x0000000000000400): Storage error in DRAM memory) +[ 2026.290460] {4}[Hardware Error]: Hardware error from APEI Generic Hardware Error Source: 2 +[ 2026.301258] {4}[Hardware Error]: event severity: recoverable +[ 2026.306903] {4}[Hardware Error]: precise tstamp: 2023-01-17 18:09:10 +[ 2026.313328] {4}[Hardware Error]: Error 0, type: recoverable +[ 2026.318972] {4}[Hardware Error]: section_type: memory error +[ 2026.324703] {4}[Hardware Error]: error_status: Storage error in DRAM memory (0x0000000000000400) +[ 2026.333732] {4}[Hardware Error]: physical_address: 0x00000400a2575400 +[ 2026.340331] {4}[Hardware Error]: node:0 card:6 module:0 rank:0 bank_group:2 bank_address:3 device:0 row:137 column:640 chip_id:0 +[ 2026.352138] {4}[Hardware Error]: error_type: 14, scrub uncorrected error +[ 2026.358998] {4}[Hardware Error]: type: DDR (0x50), common_reg_nr:1 +[ 2026.365249] {4}[Hardware Error]: Interrupt: 843 +[ 2026.369852] {4}[Hardware Error]: ECCERRCNT: 0x40000, ECCSTAT: 0x0, ADVECCSTAT: 0x88000002, ECCSYMBOL: 0xec0000, ECCERRCNTSTAT: 0x0, ECCERRCNT0: 0x0, ECCERRCNT1: 0x0, ECCCADDR0: 0x0, ECCCADDR1: 0x0, ECCCDATA0: 0x0, ECCCDATA1: 0x0, ECCUADDR0: 0x89, ECCUADDR1: 0x2030280, ECCUDATA0: 0x1ff, ECCUDATA1: 0x0 +[ 2026.397264] Memory failure: 0x400a2575: recovery action for dirty LRU page: Recovered +``` + +###### AO Prefetch Recovery + +First, inject an uncorrected error and trigger it by explicitly performing a `prfm`. The platform will signal an interrupt. + +```bash +#einj_mem_uc prefetch +0: prefetch vaddr = 0xffffbe03f400 paddr = 8c17eb400 +injecting ... +triggering ... +page not present +Test passed +``` + +The dmesg log: + +```bash +[ 7616.802823] {1}[Hardware Error]: Hardware error from APEI Generic Hardware Error Source: 2 +[ 7616.813922] {1}[Hardware Error]: event severity: recoverable +[ 7616.819566] {1}[Hardware Error]: Error 0, type: recoverable +[ 7616.825210] {1}[Hardware Error]: section_type: memory error +[ 7616.830940] {1}[Hardware Error]: error_status: 0x0000000000000400 +[ 7616.837191] {1}[Hardware Error]: physical_address: 0x00000008c17eb400 +[ 7616.843791] {1}[Hardware Error]: node: 0 card: 0 module: 0 rank: 1 bank_group: 3 bank_address: 0 device: 0 row: 773 column: 1408 +[ 7616.855597] {1}[Hardware Error]: error_type: 5, multi-symbol chipkill ECC +[ 7616.862543] {1}[Hardware Error]: type: DDR (0x50), ras_count:1 +[ 7616.868447] {1}[Hardware Error]: sub_type: 0x0 +[ 7616.872962] {1}[Hardware Error]: fr: 0x1000200000026, ctrl: 0x0, status: 0x0, addr: 0x0 +[ 7616.881036] {1}[Hardware Error]: misc0: 0x0, misc1: 0x0, misc2: 0x0, misc3: 0x200000000000100 +[ 7616.889888] Memory failure: 0x8c17eb: recovery action for dirty LRU page: Recovered +``` + +###### AO Store Recovery + +First, inject an uncorrected error and trigger it by writing a byte. The write size is less than 64 bits and the platform will signal a SError. + +```bash +# einj_mem_uc strbyte +0: strbyte vaddr = 0xffffa3651400 paddr = 400afd01400 +injecting ... +triggering ... +page not present +Test passed +``` + +The dmesg log: + +```bash +[ 2378.241939] EDAC MC0: 1 UE multi-symbol chipkill ECC on unknown memory (node:0 card:5 module:0 rank:0 bank_group:2 bank_address:1 device:0 row:191 column:128 chip_id:0 page:0x400afd01 offset:0x400 grain:1 - APEI location: node:0 card:5 module:0 rank:0 bank_group:2 bank_address:1 device:0 row:191 column:128 chip_id:0 status(0x0000000000000400): Storage error in DRAM memory) +[ 2378.241945] {5}[Hardware Error]: Hardware error from APEI Generic Hardware Error Source: 2 +[ 2378.252573] {5}[Hardware Error]: event severity: recoverable +[ 2378.258217] {5}[Hardware Error]: precise tstamp: 2023-01-17 18:15:02 +[ 2378.264642] {5}[Hardware Error]: Error 0, type: recoverable +[ 2378.270286] {5}[Hardware Error]: section_type: memory error +[ 2378.276017] {5}[Hardware Error]: error_status: Storage error in DRAM memory (0x0000000000000400) +[ 2378.285045] {5}[Hardware Error]: physical_address: 0x00000400afd01400 +[ 2378.291644] {5}[Hardware Error]: node:0 card:5 module:0 rank:0 bank_group:2 bank_address:1 device:0 row:191 column:128 chip_id:0 +[ 2378.303451] {5}[Hardware Error]: error_type: 5, multi-symbol chipkill ECC +[ 2378.310398] {5}[Hardware Error]: type: DDR (0x50), common_reg_nr:1 +[ 2378.316649] {5}[Hardware Error]: SError +[ 2378.320558] {5}[Hardware Error]: ECCERRCNT: 0x10000, ECCSTAT: 0x0, ADVECCSTAT: 0x8000002, ECCSYMBOL: 0x6f0000, ECCERRCNTSTAT: 0x0, ECCERRCNT0: 0x0, ECCERRCNT1: 0x0, ECCCADDR0: 0x0, ECCCADDR1: 0x0, ECCCDATA0: 0x0, ECCCDATA1: 0x0, ECCUADDR0: 0xbf, ECCUADDR1: 0x2010080, ECCUDATA0: 0x1ff, ECCUDATA1: 0x0 +[ 2378.360399] Memory failure: 0x400afd01: recovery action for dirty LRU page: Recovered +``` + +In contrast, inject an uncorrected error and trigger it by writing a quad word. The write size is 64 bits and the platform will not signal SErrors. + +```bash +# einj_mem_uc strqword +0: strqword vaddr = 0xffff991b5400 paddr = 92b73c400 +injecting ... +triggering ... +Manually take page offline +Test passed +``` + +The dmesg log: + +```bash +[270286.564242] Memory failure: 0x92b73c: recovery action for dirty LRU page: Recovered +``` + +##### QEMU Validation + +First, start a VM with a stdio monitor which allows giving complex commands to the QEMU emulator. + +```bash +qemu-system-aarch64 -enable-kvm \ + -cpu host \ + -M virt,gic-version=3 \ + -m 8G \ + -d guest_errors \ + -rtc base=localtime,clock=host \ + -smp cores=2,threads=2,sockets=2 \ + -object memory-backend-ram,id=mem0,size=4G \ + -object memory-backend-ram,id=mem1,size=4G \ + -numa node,memdev=mem0,cpus=0-3,nodeid=0 \ + -numa node,memdev=mem1,cpus=4-7,nodeid=1 \ + -bios /usr/share/AAVMF/AAVMF_CODE.fd \ + -drive driver=qcow2,media=disk,cache=writeback,if=virtio,id=alinu1_rootfs,file=/media/nvme/shawn.xs/qemu/aliyun_3_arm64_20G_alpha_alibase_20210425.qcow2 \ + -netdev user,id=n1,hostfwd=tcp::5555-:22 \ + -serial telnet:localhost:4321,server,nowait \ + -device virtio-net-pci,netdev=n1 \ + -monitor stdio +QEMU 7.2.0 monitor - type 'help' for more information +(qemu) VNC server running on 127.0.0.1:5900 +``` + +Login guest and install ras-tools, then run `einj_mem_uc` to allocate a page in userspace, dumps the virtual and physical address of the page. The `-j` is to skip error injection and `-k` is to wait for a kick. + +``` bash +$ einj_mem_uc single -j -k +0: single vaddr = 0xffffb2f27000 paddr = 154aba000 +``` + +Run command `gpa2hpa` in QEMU monitor and it will print the host physical address at which the guest’s physical address addr is mapped. + +``` bash +(qemu) gpa2hpa 0x151f21400 +Host physical address for 0x154aba000 (mem1) is 0x92b3c5000 +``` + +Inject an uncorrected error via the APEI interface to the finally translated host physical address on host. + +``` bash +echo 0x92b3c5000 > /sys/kernel/debug/apei/einj/param1 +echo 0xfffffffffffff000 > /sys/kernel/debug/apei/einj/param2 +echo 0x0 > /sys/kernel/debug/apei/einj/flags +echo 0x10 > /sys/kernel/debug/apei/einj/error_type +echo 1 > /sys/kernel/debug/apei/einj/notrigger +echo 1 > /sys/kernel/debug/apei/einj/error_inject +``` + +Then kick `einj_mem_uc` to trigger the error by writing "trigger_start". In this example, the kick is done on host. + +``` bash +#ssh -p 5555 root@localhost "echo trigger > ~/trigger_start" +``` + +We will observe that the QEMU process exit. + +``` bash +(qemu) qemu-system-aarch64: Hardware memory error! +``` + +The dmesg log: + +``` bash +[ 2705.654424] EDAC MC0: 1 UE multi-symbol chipkill ECC on unknown memory (node:0 card:0 module:0 rank:1 bank_group:4 bank_address:2 device:0 row:1196 column:640 chip_id:0 page:0x92b3c5 offset:0x0 grain:1 - APEI location: node:0 card:0 module:0 rank:1 bank_group:4 bank_address:2 device:0 row:1196 column:640 chip_id:0 status(0x0000000000000400): Storage error in DRAM memory) +[ 2705.654432] {6}[Hardware Error]: Hardware error from APEI Generic Hardware Error Source: 2 +[ 2705.665047] {6}[Hardware Error]: event severity: recoverable +[ 2705.670692] {6}[Hardware Error]: precise tstamp: 2023-01-17 18:20:29 +[ 2705.677118] {6}[Hardware Error]: Error 0, type: recoverable +[ 2705.682762] {6}[Hardware Error]: section_type: memory error +[ 2705.688492] {6}[Hardware Error]: error_status: Storage error in DRAM memory (0x0000000000000400) +[ 2705.697521] {6}[Hardware Error]: physical_address: 0x000000092b3c5000 +[ 2705.704121] {6}[Hardware Error]: node:0 card:0 module:0 rank:1 bank_group:4 bank_address:2 device:0 row:1196 column:640 chip_id:0 +[ 2705.716014] {6}[Hardware Error]: error_type: 5, multi-symbol chipkill ECC +[ 2705.722960] {6}[Hardware Error]: type: DDR (0x50), common_reg_nr:1 +[ 2705.729212] {6}[Hardware Error]: Synchronous Exception taken in EL0 +[ 2705.735551] {6}[Hardware Error]: ESR: 0x92000410, ELR: 0x401880, FAR: 0xffffb2e8c1d8, SCR: 0x403073d, SCTLR: 0x30cd183f, LR: 0x401840 +[ 2705.747619] {6}[Hardware Error]: ECCERRCNT: 0x10000, ECCSTAT: 0x0, ADVECCSTAT: 0x8000002, ECCSYMBOL: 0x60000, ECCERRCNTSTAT: 0x0, ECCERRCNT0: 0x0, ECCERRCNT1: 0x0, ECCCADDR0: 0x0, ECCCADDR1: 0x0, ECCCDATA0: 0x0, ECCCDATA1: 0x0, ECCUADDR0: 0x10004ac, ECCUADDR1: 0x4020280, ECCUDATA0: 0x1ff, ECCUDATA1: 0x0 +[ 2705.887179] EDAC MC0: 1 UE multi-symbol chipkill ECC on unknown memory (node:0 card:0 module:0 rank:1 bank_group:4 bank_address:2 device:0 row:1196 column:640 chip_id:0 page:0x92b3c5 offset:0x0 grain:1 - APEI location: node:0 card:0 module:0 rank:1 bank_group:4 bank_address:2 device:0 row:1196 column:640 chip_id:0 status(0x0000000000000400): Storage error in DRAM memory) +[ 2705.887181] {7}[Hardware Error]: Hardware error from APEI Generic Hardware Error Source: 2 +[ 2705.897824] {7}[Hardware Error]: event severity: recoverable +[ 2705.903468] {7}[Hardware Error]: precise tstamp: 2023-01-17 18:20:29 +[ 2705.909893] {7}[Hardware Error]: Error 0, type: recoverable +[ 2705.915537] {7}[Hardware Error]: section_type: memory error +[ 2705.921267] {7}[Hardware Error]: error_status: Storage error in DRAM memory (0x0000000000000400) +[ 2705.930296] {7}[Hardware Error]: physical_address: 0x000000092b3c5000 +[ 2705.936895] {7}[Hardware Error]: node:0 card:0 module:0 rank:1 bank_group:4 bank_address:2 device:0 row:1196 column:640 chip_id:0 +[ 2705.948790] {7}[Hardware Error]: error_type: 5, multi-symbol chipkill ECC +[ 2705.955736] {7}[Hardware Error]: type: DDR (0x50), common_reg_nr:1 +[ 2705.961988] {7}[Hardware Error]: Synchronous Exception taken in EL0 +[ 2705.968326] {7}[Hardware Error]: ESR: 0x92000410, ELR: 0x401880, FAR: 0xffffb2e8c1d8, SCR: 0x403073d, SCTLR: 0x30cd183f, LR: 0x401840 +[ 2705.980394] {7}[Hardware Error]: ECCERRCNT: 0x0, ECCSTAT: 0x0, ADVECCSTAT: 0x0, ECCSYMBOL: 0x0, ECCERRCNTSTAT: 0x0, ECCERRCNT0: 0x0, ECCERRCNT1: 0x0, ECCCADDR0: 0x0, ECCCADDR1: 0x0, ECCCDATA0: 0x0, ECCCDATA1: 0x0, ECCUADDR0: 0x10004ac, ECCUADDR1: 0x4020280, ECCUDATA0: 0x0, ECCUDATA1: 0x0 +[ 2706.006235] Memory failure: 0x92b3c5: Sending SIGBUS to qemu-system-aar:32293 due to hardware memory corruption +[ 2706.078549] Memory failure: 0x92b3c5: recovery action for dirty LRU page: Recovered +[ 2706.092539] Memory failure: 0x92b3c5: already hardware poisoned +[ 2706.118501] EDAC MC0: 1 UE multi-symbol chipkill ECC on unknown memory (node:0 card:0 module:0 rank:0 bank_group:1 bank_address:2 device:0 row:920 column:896 chip_id:0 page:0x0 offset:0x0 grain:1 - APEI location: node:0 card:0 module:0 rank:0 bank_group:1 bank_address:2 device:0 row:920 column:896 chip_id:0 status(0x0000000000000400): Storage error in DRAM memory) +``` + +Note, QEMU registers SIGBUS handler and sets `PR_MCE_KILL_EARLY` by `prctl`. When an AO error occurs, e.g. detected by scrubber, kernel will also send SIGBUS but with sicode `BUS_MCEERR_AO 5`. + +##### HWPoison-aware Strategy + +First, check the strategy on your system. + +```bash +#sysctl vm.memory_failure_early_kill +vm.memory_failure_early_kill = 0 +``` + +Change to early kill mode: + +```bash +#sysctl -w vm.memory_failure_early_kill=1 +vm.memory_failure_early_kill = 1 +``` + +Then inject a `patrol` error to see the kernel behavior. + +```bash +#./einj_mem_uc patrol +0: patrol vaddr = 0xffffbe4b8400 paddr = 901656400 +injecting ... +triggering ... +signal 7 code 5 addr 0xffffbe4b8000 +Unexpected SIGBUS +page not present +Test passed +``` + +As we expected, the kernel sends SIGBUS to kill the process even though it does not access the poison data. The `code 5` here means `BUS_MCEERR_AO 5`. + +#### Memory Predictive Failure Analysis Validation + +First of all, you'll need to install **rasdeamon**, it's packaged for most Linux distributions: + +```bash +yum install rasdaemon +``` + +Then we'll setup **rasdaemon** to launch at startup and to record events to an on-disk sqlite database. + +```bash +# systemctl enable rasdaemon +# systemctl start rasdaemon +``` + +Here, we manually change the `PAGE_CE_THRESHOLD="5"` in config file `/etc/sysconfig/rasdaemon` so that we can inject and exceed a page error threshold more easily. Note, run-time configuration is unsupported, service restart is needed. + +```bash +# systemctl restart rasdaemon +``` + +Run `victim` with `-p` option to help test PFA function. The `victim` allocates a page in userspace, dumps the virtual and physical address of the page, and checks the physical address in a loop while. Then inject to the physical address 5 times and it will trigger soft action in which kernel soft-offline the old page, by moving the contents to a new page. + +```bash +#victim -d -p +physical address of (0xffffa5a66000) = 0x967cf1000 +Page was replaced. New physical address = 0x8bce3e000 +``` + +## Acknowledgment + +Thanks to the developers who contributed to the Linux and Anolis communities. + +## Reference + +1. [https://www.intel.com/content/www/us/en/developer/articles/technical/new-reliability-availability-and-serviceability-ras-features-in-the-intel-xeon-processor.html](https://www.intel.com/content/www/us/en/developer/articles/technical/new-reliability-availability-and-serviceability-ras-features-in-the-intel-xeon-processor.html) +2. Reliability, Availability and Serviceability (RAS) Integration and Validation Guide for the Intel® Xeon® Processor E7- v3 Family: [https://www.intel.com/content/dam/develop/external/us/en/documents/emca2-integration-validation-guide-556978.pdf](https://www.intel.com/content/dam/develop/external/us/en/documents/emca2-integration-validation-guide-556978.pdf) +3. [https://docs.kernel.org/admin-guide/ras.html](https://docs.kernel.org/admin-guide/ras.html) +4. [https://static.linaro.org/connect/sfo17/Presentations/SFO17-203%20-%20Reliability%2C%20Availability%2C%20and%20Serviceability%20%28RAS%29%20on%20ARM64%20status.pdf](https://static.linaro.org/connect/sfo17/Presentations/SFO17-203%20-%20Reliability%2C%20Availability%2C%20and%20Serviceability%20%28RAS%29%20on%20ARM64%20status.pdf) +5. Intel® 64 and IA-32 Architectures Software Developer’s Manual +6. [https://developer.ibm.com/articles/l-kernel-memory-access/](https://developer.ibm.com/articles/l-kernel-memory-access/) +7. [https://docs.kernel.org/admin-guide/sysctl/vm.html#memory-failure-early-kill](https://docs.kernel.org/admin-guide/sysctl/vm.html#memory-failure-early-kill) +8. Programming persistent memory: A comprehensive guide for developers +9. [https://trustedfirmware-a.readthedocs.io/en/latest/components/sdei.html](https://trustedfirmware-a.readthedocs.io/en/latest/components/sdei.html#id2) \ No newline at end of file diff --git "a/sig/ARM_SIG/content/RAS/Bugzilla\347\224\250\346\210\267\346\226\207\346\241\243.md" "b/sig/ARM_SIG/content/RAS/Bugzilla\347\224\250\346\210\267\346\226\207\346\241\243.md" new file mode 100644 index 0000000000000000000000000000000000000000..1113c0978742398e8e8543a9b1a309cedb3bb9a6 --- /dev/null +++ "b/sig/ARM_SIG/content/RAS/Bugzilla\347\224\250\346\210\267\346\226\207\346\241\243.md" @@ -0,0 +1,242 @@ +## 一. Bugzilla初识 +Bugzilla是一个缺陷管理系统，可以用来管理Bug，也可以用来管理需求。Bugzilla可以通过浏览器页面创建Bug，也可以通过api接口创建Bug。 + +- **1.1 首页** + + +## 二. Bug生命周期 + +- **2.1 新建Bug** + - **2.1.1 路径** + + 首页->New/File a Bug->Select a classification->Select a product->Bug创建页面。具体如下：首先，在首页点击New或File a Bug按钮，进行创建Bug。 +  + 然后会提示让选择一个classification, classification是Bug的一级分类。 +  + 选择完classification分类后会提示选择一个product，product是Bug的二级分类。 +  + + - **2.1.2 创建页面** + + 选择完product产品后会进入Bug创建页面，创建页面有一些参数需要填充，具体参数含义如下图所示： +  + +- **2.2 编辑Bug** + - **2.2.1 路径** + - 首页->Search Bug/My Bugs->Bugs List->Click the Bug->Bug编辑页面。具体如下： + + 首先在首页点击My Bugs或Open Bugs assign to me or reported by me 进入Bug List 列表页。 +  + 然后在Bug List列表页点击Bug ID或Summary进入Bug编辑页面。 +  + + - **2.2.2 编辑页面** + + Bug编辑页面也进行Bug一些字段的修改，编辑页面的字段同Bug创建。 +  + +- **2.3 关闭Bug** + - **2.3.1 路径** + - Bug编辑页面->Status->Resolved、Fixed->Save Changes + + 在Bug页面编辑Status状态，当状态被修改为[RESOLVED，FIXED]时表示Bug关闭，至此Bug的生命周期结束。 +  + +## 三. Bugzilla Restful Api + +Bugzilla 提供了对外开放的restful api接口，通过接口可以方便的对Bug进行一些操作。官方接口描述如下：[https://bugzilla.readthedocs.io/en/5.0/api/index.html#apis](https://bugzilla.readthedocs.io/en/5.0/api/index.html#apis)。 + +- **3.1 官方Api** + + 官方api包括对Bug、评论、组件、产品等的操作，具体如下： +  + +- **3.2 额外的Api** + +除了官方Api之外，还单独定制了一部分Api，包括User、Bug、子组件等。 + + - **3.2.1 Sub Component Api** + + - **Get Sub Components** + + 查询现有的子组件详情 + + - **Request**： + ```json + https://bugzilla.openanolis.cn/rest/subcomponent?ids=(bug_id) + ``` + - **Params Description**： + + | **name** | **type** | **description** | + | --- | --- | --- | + | bug_id | int | Bug ID | + + - **Response**: + ```json + { + "subcomponents": [ + { + "default_cc": [ + "xxx@163.com" + ], + "is_active": true, + "default_docs_contact": "", + "id": 10, + "component_name": "user", + "level": 0, + "description": "rest api create subcomponent", + "default_qa_contact": "xxx@163.com", + "default_to_private": false, + "product_id": 2, + "sort_key": 0, + "parent_id": null, + "product_name": "testfarm", + "name_tree": [ + "sub_user3_9" + ], + "default_assignee": "xxx@163.com", + "name": "sub_user3_9", + "agile_team": "", + "component_id": 2 + } + ] + } + ``` + + - **Post Sub Component** + + 添加子组件 + + - **Request**： + ```json + https://bugzilla.openanolis.cn/rest/subcomponent + ``` + + - **Body Description**： + + | **name** | **type** | **description** | + | --- | --- | --- | + | api_key | string | api auth key | + | product | string | 产品名 | + | component | string | 组件名 | + | subcomponent | string | 子组件名 | + | description | string | 描述 | + | default_assignee | string | 默认指派人邮箱 | + | default_docs_contact | string | 默认Docs邮箱 | + | default_qa_contact | string | 默认QA邮箱 | + | default_cc | list | 抄送邮箱列表 | + + - **Response**: + ```json + { + id: 23 + } + ``` + + - **Delete Sub Component** + + 删除子组件 + + - **Request**： + ```json + https://bugzilla.openanolis.cn/rest/subcomponent?api_key=(api_key)&ids=(sub_component_id)&component=(component)&product=(product) + ``` + + - **Params Description**： + + | **name** | **type** | **description** | + | --- | --- | --- | + | api_key | string | api auth key | + | product | string | 产品名 | + | component | string | 组件名 | + | sub_component_id | int | 子组件id | + + - **Response**: + ```json + { + Deleted: [23] + } + ``` + + - **3.2.2 Component Api** + - **Get Components** + + 查询现有的所有组件 + + - **Request**： + ```json + https://bugzilla.openanolis.cn/rest/component + ``` + + - **Params Description**： + + | **name** | **type** | **description** | + | --- | --- | --- | + | | | | + + - **Response**: + + ```json + { + "components" : [ + { + "id" : 3, // component id + "name" : "com_123" // component name + }, + { + "id" : 4, + "name" : "product-length" + }, + { + "id" : 1, + "name" : "TestComponent" + }, + { + "id" : 2, + "name" : "user" + }, + { + "id" : 5, + "name" : "user2" + } + ] + } + ``` + +## 三. Bugzilla python 命令行插件 + +python-bugzilla-cli 命令行插件支持通过python命令行去操作Bugzilla，比如创建、编辑Bug, 子组件等。 + +- 3.1 插件安装： + - 在命令行执行命令：pip install python-bugzilla-anolis 安装命令行插件，插件地址：[https://pypi.org/project/python-bugzilla-anolis/](https://pypi.org/project/python-bugzilla-anolis/) + +  + +- 3.2 插件配置： + - 生成api_key: [https://bugzilla.openanolis.cn/userprefs.cgi?tab=apikey](https://bugzilla.openanolis.cn/userprefs.cgi?tab=apikey)，生成的api_key需要有bug edit权限，api_key权限 和当前帐号权限一致。 + +  + + - 配置bugzillarc文件，配置url和api_key，python-bugzilla-cli插件可自动读取配置的参数，在使用命令时无需额外携带参数，bugzillarc文件内容如下： + +  + +- 3.3 插件使用： + - 配置好bugzillarc文件之后，就可以使用bugzilla-anolis命令操作Bugzilla了，使用bugzilla-anolis命令查看当前支持的所有参数： + +  + + - 执行sub component相关命令： + - 查询: + ```json + bugzilla-anolis getsubcomponent --ids=10 --ids=11 + ``` +  + + - 添加：bugzilla-anolis addsubcomponent --product=testfarm --component=user --subcomponent=sub_user77_5 --description="rest api create subcomponent" --default_assignee=shankailun@163.com --default_docs_contact=shankailun@163.com --default_qa_contact=shankailun@163.com --default_cc="shankailun@163.com,1174224378@qq.com" + +  + + - 删除：bugzilla-anolis deletesubcomponent --ids=39 --product=testfarm --component=user + +  diff --git "a/sig/ARM_SIG/content/profile_features/16K\345\216\237\345\255\220\345\206\231.md" "b/sig/ARM_SIG/content/profile_features/16K\345\216\237\345\255\220\345\206\231.md" new file mode 100644 index 0000000000000000000000000000000000000000..3b2bd0e323cf22bdbf81edffe4725de3d5659d39 --- /dev/null +++ "b/sig/ARM_SIG/content/profile_features/16K\345\216\237\345\255\220\345\206\231.md" @@ -0,0 +1,54 @@ +# 优化原理 +MySQL InnoDB 的 page size 一般为 16KB，数据校验也是按 16KB 页面来计算的。但操作系统写入磁盘是以 4KB 页进行的，因此在极端场景如掉电，操作系统无法保证 InnoDB 的 16KB 页的原子写入，即 partial write。 +为了解决 partial write 问题，MySQL 在将脏数据 flush 到数据文件时，会先将脏数据拷贝到 double write buffer，之后通过 double write buffer 写入到共享表空间，再调用 fsync 刷到数据文件。 +因此，数据页面存在双倍的写入，这在实际应用场景可能带来如下问题： +1）云盘场景，额外占用存储带宽，抖动问题变多； +2）传统物理机场景，额外的写入会降低 SSD 的寿命（TBW 为 SSD 的生命周期重要指标之一）。 +大致原理图如下： + +Double Write 介绍： +[https://dev.mysql.com/doc/refman/8.0/en/innodb-doublewrite-buffer.html](https://dev.mysql.com/doc/refman/8.0/en/innodb-doublewrite-buffer.html) +16k 原子写方案旨在通过文件系统 COW 异地更新的机制，确保 MySQL 16k 页面原子写入，同时对 MySQL 应用无侵入，优化 MySQL 的性能和数据写入量，解决 Double Write 带来的额外带宽占用以及降低 SSD 寿命等问题。 +# 使用方法 +1、下载 OpenAnolis 社区 SIG 的特性分支代码，并编译安装。 +``` +git clone git@gitee.com:anolis/storage-cloud-kernel.git git checkout feature/atomic-write make anolis_defconfig make -j64 -s sudo make modules_install -j64 -s sudo make install sudo reboot +``` +2、安装 MySQL 和客户端： +``` +sudo yum install mariadb mariadb-server mariadb-devel +``` +3、创建 xfs 数据盘并挂载，用于保存 MySQL 数据库。 （注意需确保 xfsprogs 版本支持 reflink 特性） +``` +sudo mkfs.xfs -m reflink=1
海光2号
| #**要求1**#：1.两种方法都可以确认bios是否支持相应的功能，方法如下
(1)PI版本为2.1.0.4或以上,通过机器型号和厂商沟通确认
(2)Bootloader 版本号为1.2.55 或以上，Bootloader 版本号可以通过bios 查看，方法在下面章节说明
2. 必须支持CSV、fTPM2.0、fTCM2.0、TPCM等安全功能
BIOS必须满足以上2点要求，如果不满足请直接联系整机厂商
海光C86-3G
| 同 #**要求1**# | +| 3 | 海光C86-4G | #**要求2**#：1. 两种方法都可以确认bios是否支持相应的功能，方法如下
(1)PI版本为4.2.0.0或以上,通过机器型号和厂商沟通确认
(2)Bootloader版本要求，lscpu \|grep Model 查看Model 对应的值，根据具体的值确认版本要求，版本要求如下
1)4: Bootloader版本为3.5.3.1或以上
2)6: Bootloader版本为 3.7.3.37或以上
Bootloader 版本号可以通过bios 查看，方法在下面章节说明
2. 必须支持CSV、fTPM2.0、fTCM2.0、TPCM等安全功能
BIOS必须满足以上2点要求，如果不满足请直接联系整机厂商
**注意：**
如果用户希望测试`CSV3`的kernel启动hash验证和秘密注入等功能（CSV3密钥封印，CSV3全磁盘加密，CSV3机密容器 等依赖于这些功能），要求安全固件的版本号（即build id）>= `2200`。如果版本号 < `2200`，用户需要联系OEM厂商获取指定PI版本的BIOS，以`PI4.6.x`为前缀的PI版本要求>=`PI4.6.0.5`，以`PI4.2.x`为前缀的PI版本要求>=`PI4.2.0.10`。 | + +## Bootloader 版本查看 +海光2号配置 +``` +Setup Utility -> Advanced -> PSP Firmware Versions +``` + +海光C86-4G配置 +``` +Chipset -> PSP Firmware Versions +``` +如下图： + + +## 国产OS安全功能支持情况 + +> 您可根据表格中OS的版本，支持的CPU型号，及支持的安全功能；选择您需要的OS。推荐使用版本更高的OS，其支持的安全功能更为完善。 +> +> 备注： 表格中，如果TPM2-TOOLS版本低于5.5（不包含5.5），则TCM有两个命令不支持：ecc encrypt/decrypt + +表 2 国产OS安全功能支持情况 + +| 厂商 |
OS版本
内核版本
机密
计算
可信
计算
密码
技术
8.8
kernel:5.10
海光2号
海光C86-3G
CSV
1
TPM
TPCM
TDM
qemu:6.2.0
edk2:20220126
tpm2-tools:4.1.1
tpm2-tss:2.3.2
grub2:2.02
tpm2-abrmd: 2.3.3
8.9
kernel:5.10
海光2号
海光C86-3G
海光C86-4G
CSV
1,2,3
TPM
TPCM
TDM
TCM
TKM
HCT
23.1
kernel:5.10
海光2号
海光C86-3G
海光C86-4G
CSV
1,2,3
TPM
TPCM
TDM
TCM
TKM
HCT
qemu: 8.2.0
edk2:202302
tpm2-tools:5.5
tpm2-tss:4.0.1
grub2:2.06
tpm2-abrmd: 3.0.0
23.1 GA
kernel:6.6
海光2号
海光C86-3G
海光C86-4G
CSV
1,2,3
TPM
TPCM
TDM
TCM
CCP
TKM
qemu: 8.2
edk2:202402
tpm2-tools:5.5
tpm2-tss:4.0.1
grub2:2.12
tpm2-abrmd: 3.0.0
服务器V10
SP3 2303
kernel:4.19
海光2号
海光C86-3G
CSV
1
TPM
TPCM
TDM
qemu: 4.1.0
edk2:202002
tpm2-tools:5.0
tpm2-tss:3.0.3
grub2:2.04
tpm2-abrmd: 2.3.3
服务器V10
SP3 2403
kernel:4.19
海光2号
海光C86-3G
海光C86-4G
CSV
1,2,3
TPM
TPCM
TDM
TCM
TKM
HCT
服务器V11
kernel:6.6
海光2号
海光C86-3G
海光C86-4G
CSV
1,2,3
TPM
TPCM
TDM
TCM
TKM
HCT
qemu: 8.2
edk2:202311
tpm2-tools:5.5.1
tpm2-tss:4.0.1
grub2:2.12
tpm2-abrmd: 3.0.0
桌面V10
SP1 2303
kernel:
5.4.18
海光2号
海光C86-3G
CSV
1
TPM
TPCM
TDM
CCP
TKM
HCT
需update2以上
qemu: 4.2.1
edk2:201911
桌面V10
SP1 2403
kernel:
5.4.18
海光2号
海光C86-3G
海光C86-4G
CSV
1,2
TPM
TPCM
TDM
TKM
HCT
桌面V11
kernel:6.6
海光2号
海光C86-3G
海光C86-4G
CSV
1,2,3
TPM
TPCM
TDM
TCM
TKM
HCT
qemu: 8.2
edk2:202402
tpm2-tools:5.6
tpm2-tss:4.0.1
grub2:2.12
tpm2-abrmd: 3.0.0
服务器
1060
kernel:
4.19.90
海光2号
海光C86-3G
CSV
1
TPM
TPCM
TDM
qemu: 4.1.0
edk2:202002
tpm2-tools:5.0
tpm2-tss:3.0.3
grub2:2.04
tpm2-abrmd: 2.3.3
服务器
1070
kernel:
4.19.90
海光2号
海光C86-3G
海光C86-4G
CSV
1,2,3
TPM
TPCM
TDM
TCM
TKM
HCT
qemu: 6.2.0
其他同上
桌面
1060
kernel:
4.19.90
海光2号
海光C86-3G
CSV
1
TPM
TPCM
TDM
qemu: 3.1.3
edk2:201811
tpm2-tools:3.1.3
tpm2-tss:2.1.0
grub2:2.04
tpm2-abrmd: 2.1.0
桌面
1070
kernel:
4.19.90
海光2号
海光C86-3G
海光C86-4G
CSV
1,2
TPM
TPCM
TDM
TCM
TKM
HCT
qemu: 3.1.3
edk2:201811
tpm2-tools:5.4
tpm2-tss:3.2.2
grub2:2.04
tpm2-abrmd: 3.0.0
服务器
V3.0
kernel:
4.19.113
海光2号
海光C86-3G
CSV
1
TPM
TPCM
TDM
qemu: 2.12.0
edk2:201903
tpm2-tools:4.1.1
tpm2-tss:2.3.2
grub2:2.02
服务器
V4.0
kernel:
4.19.113
海光2号
海光C86-3G
海光C86-4G
CSV
1,2,3
TPM
TPCM
TDM
TCM
TKM
HCT
qemu: 4.2.0/7.2
edk2:201903
tpm2-tools:5.6
tpm2-tss:4.0.1
grub2:2.04
tpm2-abrmd: 2.3.3
桌面
V5.0
kernel:
5.4.100
海光2号
海光C86-3G
CSV
1
TPM
TPCM
TDM
grub2:2.04
tpm2-tools:4.1.1
tpm2-tss:2.3.2
kernel:
4.19.278
海光2号
海光C86-3G
海光C86-4G
CSV
1,2,3
TPM
TPCM
TDM
TKM
HCT
qemu: 6.2.0
edk2:202111
tpm2-tools:4.1.1
tpm2-tss:2.3.2
grub2:2.04
tpm2-abrmd: 2.3.3
kernel:
4.19.90
海光2号
海光C86-3G
海光C86-4G
CSV
1,2,3
TPM
TPCM
TDM
TKM
HCT
qemu: 4.1.0
edk2:202202
tpm2-tools:5.0
tpm2-tss:3.0.3
grub2:2.04
tpm2-abrmd: 2.3.3
9.2
kernel:
6.6
海光2号
海光C86-3G
海光C86-4G
CSV
1,2,3
TPM
TPCM
TDM
TCM
TKM
HCT
qemu: 8.2
edk2:20230524
tpm2-tools:5.5
tpm2-tss:4.0.1
grub2:2.12
tpm2-abrmd: 2.4.1
kernel:
4.19.91
海光2号
海光C86-3G
kernel:
5.10.134
海光2号
海光C86-3G
CSV
1,2
TKM
HCT
kernel:
5.10.0-182
海光2号
海光C86-3G
CSV
1,2
kernel:
5.10.0-136
海光2号
海光C86-3G
CSV
1,2
qemu: 5.0
libvirt: 6.3
海光2号
| #**要求1**#：1.两种方法都可以确认bios是否支持相应的功能，方法如下
(1)PI版本为2.1.0.4或以上,通过机器型号和厂商沟通确认
(2)Bootloader 版本号为1.2.55 或以上，Bootloader 版本号可以通过bios 查看，方法在下面章节说明
2. 必须支持CSV、fTPM2.0、fTCM2.0、TPCM等安全功能
BIOS必须满足以上2点要求，如果不满足请直接联系整机厂商
海光C86-3G
| 同 #**要求1**# | +| 3 | 海光C86-4G | #**要求2**#：1. 两种方法都可以确认bios是否支持相应的功能，方法如下
(1)PI版本为4.2.0.0或以上,通过机器型号和厂商沟通确认
(2)Bootloader版本要求，lscpu \|grep Model 查看Model 对应的值，根据具体的值确认版本要求，版本要求如下
1)4: Bootloader版本为3.5.3.1或以上
2)6: Bootloader版本为 3.7.3.37或以上
Bootloader 版本号可以通过bios 查看，方法在下面章节说明
2. 必须支持CSV、fTPM2.0、fTCM2.0、TPCM等安全功能
BIOS必须满足以上2点要求，如果不满足请直接联系整机厂商
**注意：**
如果用户希望测试`CSV3`的kernel启动hash验证和秘密注入等功能（CSV3密钥封印，CSV3全磁盘加密，CSV3机密容器 等依赖于这些功能），要求安全固件的版本号（即build id）>= `2200`。如果版本号 < `2200`，用户需要联系OEM厂商获取指定PI版本的BIOS，以`PI4.6.x`为前缀的PI版本要求>=`PI4.6.0.5`，以`PI4.2.x`为前缀的PI版本要求>=`PI4.2.0.10`。 | + +## Bootloader 版本查看 +海光2号配置 +``` +Setup Utility -> Advanced -> PSP Firmware Versions +``` + +海光C86-4G配置 +``` +Chipset -> PSP Firmware Versions +``` +如下图： + + +## 国产OS安全功能支持情况 + +> 您可根据表格中OS的版本，支持的CPU型号，及支持的安全功能；选择您需要的OS。推荐使用版本更高的OS，其支持的安全功能更为完善。 +> +> 备注： 表格中，如果TPM2-TOOLS版本低于5.5（不包含5.5），则TCM有两个命令不支持：ecc encrypt/decrypt + +表 2 国产OS安全功能支持情况 + +| 厂商 |
OS版本
内核版本
机密
计算
可信
计算
密码
技术
8.8
kernel:5.10
海光2号
海光C86-3G
CSV
1
TPM
TPCM
TDM
qemu:6.2.0
edk2:20220126
tpm2-tools:4.1.1
tpm2-tss:2.3.2
grub2:2.02
tpm2-abrmd: 2.3.3
8.9
kernel:5.10
海光2号
海光C86-3G
海光C86-4G
CSV
1,2,3
TPM
TPCM
TDM
TCM
TKM
HCT
23.1
kernel:5.10
海光2号
海光C86-3G
海光C86-4G
CSV
1,2,3
TPM
TPCM
TDM
TCM
TKM
HCT
qemu: 8.2.0
edk2:202302
tpm2-tools:5.5
tpm2-tss:4.0.1
grub2:2.06
tpm2-abrmd: 3.0.0
23.1 GA
kernel:6.6
海光2号
海光C86-3G
海光C86-4G
CSV
1,2,3
TPM
TPCM
TDM
TCM
CCP
TKM
qemu: 8.2
edk2:202402
tpm2-tools:5.5
tpm2-tss:4.0.1
grub2:2.12
tpm2-abrmd: 3.0.0
服务器V10
SP3 2303
kernel:4.19
海光2号
海光C86-3G
CSV
1
TPM
TPCM
TDM
qemu: 4.1.0
edk2:202002
tpm2-tools:5.0
tpm2-tss:3.0.3
grub2:2.04
tpm2-abrmd: 2.3.3
服务器V10
SP3 2403
kernel:4.19
海光2号
海光C86-3G
海光C86-4G
CSV
1,2,3
TPM
TPCM
TDM
TCM
TKM
HCT
服务器V11
kernel:6.6
海光2号
海光C86-3G
海光C86-4G
CSV
1,2,3
TPM
TPCM
TDM
TCM
TKM
HCT
qemu: 8.2
edk2:202311
tpm2-tools:5.5.1
tpm2-tss:4.0.1
grub2:2.12
tpm2-abrmd: 3.0.0
桌面V10
SP1 2303
kernel:
5.4.18
海光2号
海光C86-3G
CSV
1
TPM
TPCM
TDM
CCP
TKM
HCT
需update2以上
qemu: 4.2.1
edk2:201911
桌面V10
SP1 2403
kernel:
5.4.18
海光2号
海光C86-3G
海光C86-4G
CSV
1,2
TPM
TPCM
TDM
TKM
HCT
桌面V11
kernel:6.6
海光2号
海光C86-3G
海光C86-4G
CSV
1,2,3
TPM
TPCM
TDM
TCM
TKM
HCT
qemu: 8.2
edk2:202402
tpm2-tools:5.6
tpm2-tss:4.0.1
grub2:2.12
tpm2-abrmd: 3.0.0
服务器
1060
kernel:
4.19.90
海光2号
海光C86-3G
CSV
1
TPM
TPCM
TDM
qemu: 4.1.0
edk2:202002
tpm2-tools:5.0
tpm2-tss:3.0.3
grub2:2.04
tpm2-abrmd: 2.3.3
服务器
1070
kernel:
4.19.90
海光2号
海光C86-3G
海光C86-4G
CSV
1,2,3
TPM
TPCM
TDM
TCM
TKM
HCT
qemu: 6.2.0
其他同上
桌面
1060
kernel:
4.19.90
海光2号
海光C86-3G
CSV
1
TPM
TPCM
TDM
qemu: 3.1.3
edk2:201811
tpm2-tools:3.1.3
tpm2-tss:2.1.0
grub2:2.04
tpm2-abrmd: 2.1.0
桌面
1070
kernel:
4.19.90
海光2号
海光C86-3G
海光C86-4G
CSV
1,2
TPM
TPCM
TDM
TCM
TKM
HCT
qemu: 3.1.3
edk2:201811
tpm2-tools:5.4
tpm2-tss:3.2.2
grub2:2.04
tpm2-abrmd: 3.0.0
服务器
V3.0
kernel:
4.19.113
海光2号
海光C86-3G
CSV
1
TPM
TPCM
TDM
qemu: 2.12.0
edk2:201903
tpm2-tools:4.1.1
tpm2-tss:2.3.2
grub2:2.02
服务器
V4.0
kernel:
4.19.113
海光2号
海光C86-3G
海光C86-4G
CSV
1,2,3
TPM
TPCM
TDM
TCM
TKM
HCT
qemu: 4.2.0/7.2
edk2:201903
tpm2-tools:5.6
tpm2-tss:4.0.1
grub2:2.04
tpm2-abrmd: 2.3.3
桌面
V5.0
kernel:
5.4.100
海光2号
海光C86-3G
CSV
1
TPM
TPCM
TDM
grub2:2.04
tpm2-tools:4.1.1
tpm2-tss:2.3.2
kernel:
4.19.278
海光2号
海光C86-3G
海光C86-4G
CSV
1,2,3
TPM
TPCM
TDM
TKM
HCT
qemu: 6.2.0
edk2:202111
tpm2-tools:4.1.1
tpm2-tss:2.3.2
grub2:2.04
tpm2-abrmd: 2.3.3
kernel:
4.19.90
海光2号
海光C86-3G
海光C86-4G
CSV
1,2,3
TPM
TPCM
TDM
TKM
HCT
qemu: 4.1.0
edk2:202202
tpm2-tools:5.0
tpm2-tss:3.0.3
grub2:2.04
tpm2-abrmd: 2.3.3
9.2
kernel:
6.6
海光2号
海光C86-3G
海光C86-4G
CSV
1,2,3
TPM
TPCM
TDM
TCM
TKM
HCT
qemu: 8.2
edk2:20230524
tpm2-tools:5.5
tpm2-tss:4.0.1
grub2:2.12
tpm2-abrmd: 2.4.1
kernel:
4.19.91
海光2号
海光C86-3G
kernel:
5.10.134
海光2号
海光C86-3G
CSV
1,2
TKM
HCT
kernel:
5.10.0-182
海光2号
海光C86-3G
CSV
1,2
kernel:
5.10.0-136
海光2号
海光C86-3G
CSV
1,2
qemu: 5.0
libvirt: 6.3
+
+
+### b.TestLib 服务依赖
+### c. clone test-lib代码到~/tone/code目录下
+```shell
+git clone --single-branch --branch master https://gitee.com/anolis/testlib.git ~/tone/code/testlib
+```
+### d.增加docker-compose配置
+```yaml
+# docker-compose.yaml service下增加test-lib
+ test-lib:
+ build:
+ context: code/testlib/
+ dockerfile: Dockerfile
+ args:
+ APP_NAME: test-lib
+ ENV: daily
+ image: test-lib:latest
+ ports:
+ - "8005:8005"
+ depends_on:
+ - mysql
+ - redis
+ environment:
+ <<: *common-variables
+ # db
+ db_url: mysql+aiomysql://${db_user}:{db_password}@mysql:3306/test-lib
+ # redis
+ redis_url: redis://:${redis_password}@redis:6379/10
+ # app
+ tone_host: http://${server_ip}:8080/
+ tone_token: tone_token
+ tone_user_name: tone_user_name
+ main_domain: http://${server_ip}:8005
+ oss_url: http://${server_ip}:8005
+```
+#### e.重启服务
+```shell
+docker-compose -f ~/tone/docker-compose.yaml up --build -d
+```
+## 7. 独立部署 FAQ
+https://tone.openanolis.cn/help_doc/12
\ No newline at end of file
diff --git "a/sig/Anolis\350\277\201\347\247\273SIG/content/\347\224\250\346\210\267\346\214\207\345\215\2272/a\347\224\250\346\210\267\350\201\206\345\220\254-copy/test.md" "b/sig/Anolis\350\277\201\347\247\273SIG/content/\347\224\250\346\210\267\346\214\207\345\215\2272/a\347\224\250\346\210\267\350\201\206\345\220\254-copy/test.md"
new file mode 100644
index 0000000000000000000000000000000000000000..b09df7d02fee342106c45e78485a992609d67bdb
--- /dev/null
+++ "b/sig/Anolis\350\277\201\347\247\273SIG/content/\347\224\250\346\210\267\346\214\207\345\215\2272/a\347\224\250\346\210\267\350\201\206\345\220\254-copy/test.md"
@@ -0,0 +1,70 @@
+# 一级标题
+## 二级标题
+### 三级标题
+**粗体文本**
+
+__cuti__
+
+*斜体文本*
+
+_xieti_
+
+下划线
+
+~~删除线~~
+
+上标：Xy
+
+下标：An
+
+> 引用文本
+- 无序列表项1
+ - 第二层
+- 无序列表项2
+* * *
+1. 有序列表项1
+2. 有序列表项2
+---
+[链接文本](https://gitee.com/suli01/community/edit/master/sig/T-One/content/%E7%94%A8%E6%88%B7%E6%8C%87%E5%8D%97/%E7%94%A8%E6%88%B7%E8%81%86%E5%90%AC/test.md)
+
+链接名称
+
+'''python
+def hello_world():
+ print("Hello, world!")
+
+
+
+| 列1 | 列2 | 列3 |
+| --- | --- | --- |
+| 单元格1 | 单元格2 | 单元格3 |
+| 单元格4 | 单元格5 | 单元格6 |
+
+
+| 左对齐 | 居中对齐 | 右对齐 |
+|:-----|:------:|------:|
+| 文本 | 文本 | 文本 |
+
+点击展开/折叠脚本
+ +```shell + +/*!40101 SET @OLD_CHARACTER_SET_CLIENT=@@CHARACTER_SET_CLIENT */; +/*!40101 SET NAMES utf8 */; +/*!50503 SET NAMES utf8mb4 */; +/*!40014 SET @OLD_FOREIGN_KEY_CHECKS=@@FOREIGN_KEY_CHECKS, FOREIGN_KEY_CHECKS=0 */; +/*!40101 SET @OLD_SQL_MODE=@@SQL_MODE, SQL_MODE='NO_AUTO_VALUE_ON_ZERO' */; + +-- 表 test-lib.case 结构 +CREATE TABLE IF NOT EXISTS `case` ( + `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键自增id', + `gmt_created` datetime DEFAULT NULL COMMENT '创建时间', + `gmt_modified` datetime DEFAULT NULL COMMENT '修改时间', + `name` varchar(64) NOT NULL COMMENT '测试用例名称', + `creator` varchar(64) NOT NULL COMMENT '负责人', + `type` enum('FUNCTIONAL','PERFORMANCE','STRESS','LOAD','SECURITY','COMPATIBILITY','OTHERS') NOT NULL COMMENT '测试用例类型', + `priority` enum('PRIORITY_0','PRIORITY_1','PRIORITY_2','PRIORITY_3') NOT NULL COMMENT '测试用例的优先级', + `suite_name` varchar(128) DEFAULT NULL COMMENT '测试套名称', + `run_method` enum('MANUAL','AUTO') NOT NULL COMMENT '测试用例执行方式,手动、自动', + `run_model` enum('SINGLE','CLUSTER') NOT NULL COMMENT '测试用例运行模式,单机、集群', + `is_available` tinyint(1) NOT NULL COMMENT '测试用例是否可用', + `tone_case` varchar(128) DEFAULT NULL COMMENT 'T-One测试用例，当run_method为自动的时候生效', + `device_type` varchar(128) DEFAULT 'unlimit' COMMENT '设备类型,可多选,默认支持所有设备', + `device_arch` varchar(256) NOT NULL COMMENT '设备架构类型,可多选,默认支撑所有类型', + `labels` varchar(256) DEFAULT NULL COMMENT '设备标签,多个用,隔开', + `desc` varchar(512) DEFAULT NULL COMMENT '用例描述', + `pre_condition` varchar(512) DEFAULT NULL COMMENT '前置条件', + `steps` json DEFAULT NULL COMMENT '操作步骤', + `custom_fields` json DEFAULT NULL COMMENT '测试用例扩展属性', + `parent` int(11) NOT NULL COMMENT '测试用例分类节点', + PRIMARY KEY (`id`), + UNIQUE KEY `name` (`name`), + KEY `ix_case_suite_name` (`suite_name`) +) ENGINE=InnoDB AUTO_INCREMENT=31 DEFAULT CHARSET=utf8; + +-- 表 test-lib.case_label 结构 +CREATE TABLE IF NOT EXISTS `case_label` ( + `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键自增id', + `gmt_created` datetime DEFAULT NULL COMMENT '创建时间', + `gmt_modified` datetime DEFAULT NULL COMMENT '修改时间', + `name` varchar(64) NOT NULL COMMENT '用例标签', + `creator` varchar(64) NOT NULL COMMENT '标签创建人', + PRIMARY KEY (`id`), + UNIQUE KEY `name` (`name`) +) ENGINE=InnoDB AUTO_INCREMENT=4 DEFAULT CHARSET=utf8; + +-- 表 test-lib.case_label_map 结构 +CREATE TABLE IF NOT EXISTS `case_label_map` ( + `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键自增id', + `gmt_created` datetime DEFAULT NULL COMMENT '创建时间', + `gmt_modified` datetime DEFAULT NULL COMMENT '修改时间', + `label_name` varchar(64) NOT NULL COMMENT '用例名称', + `case_id` int(11) NOT NULL COMMENT '用例ID', + PRIMARY KEY (`id`), + KEY `ix_case_label_map_label_name` (`label_name`) +) ENGINE=InnoDB AUTO_INCREMENT=16 DEFAULT CHARSET=utf8; + +-- 表 test-lib.case_tree 结构 +CREATE TABLE IF NOT EXISTS `case_tree` ( + `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键自增id', + `gmt_created` datetime DEFAULT NULL COMMENT '创建时间', + `gmt_modified` datetime DEFAULT NULL COMMENT '修改时间', + `name` varchar(16) NOT NULL COMMENT '用例结构树节点名称', + `parent` int(11) NOT NULL COMMENT '父节点id', + `level` int(11) NOT NULL COMMENT '树结构的深度', + `path` varchar(128) NOT NULL COMMENT '模块完整路径', + `children_nums` int(11) NOT NULL COMMENT '子节点数量', + PRIMARY KEY (`id`), + KEY `ix_case_tree_path` (`path`) +) ENGINE=InnoDB AUTO_INCREMENT=11 DEFAULT CHARSET=utf8; + +-- 表 test-lib.device 结构 +CREATE TABLE IF NOT EXISTS `device` ( + `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键自增id', + `gmt_created` datetime DEFAULT NULL COMMENT '创建时间', + `gmt_modified` datetime DEFAULT NULL COMMENT '修改时间', + `name` varchar(64) NOT NULL COMMENT '设备名称', + `arch` enum('X86','ARCH64','RISCV','LOONGARCH','NOARCH','OTHERS') NOT NULL COMMENT '设备架构', + `ip` varchar(16) NOT NULL COMMENT '设备ip', + `type` enum('UNLIMIT','VM','DOCKER','PHYSICS') NOT NULL COMMENT '设备类型', + `sn` varchar(16) DEFAULT NULL COMMENT '设备序号', + `status` tinyint(1) NOT NULL COMMENT '设备是否可用', + `label` json DEFAULT NULL COMMENT '设备标签列表数组', + `owner` varchar(256) NOT NULL COMMENT '设备负责人', + PRIMARY KEY (`id`) +) ENGINE=InnoDB AUTO_INCREMENT=3 DEFAULT CHARSET=utf8; + +-- 表 test-lib.device_label 结构 +CREATE TABLE IF NOT EXISTS `device_label` ( + `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键自增id', + `gmt_created` datetime DEFAULT NULL COMMENT '创建时间', + `gmt_modified` datetime DEFAULT NULL COMMENT '修改时间', + `name` varchar(64) NOT NULL COMMENT '设备标签名称', + `color` varchar(32) NOT NULL COMMENT '设备标签颜色', + PRIMARY KEY (`id`), + UNIQUE KEY `ix_device_label_name` (`name`) +) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8; + +-- 表 test-lib.device_label_relationship 结构 +CREATE TABLE IF NOT EXISTS `device_label_relationship` ( + `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键自增id', + `gmt_created` datetime DEFAULT NULL COMMENT '创建时间', + `gmt_modified` datetime DEFAULT NULL COMMENT '修改时间', + `label_id` int(11) NOT NULL COMMENT '机器Label id', + `device_id` int(11) NOT NULL COMMENT '机器Label id', + `is_delete` tinyint(1) DEFAULT NULL COMMENT '对应关系是否删除', + PRIMARY KEY (`id`), + KEY `ix_device_label_relationship_device_id` (`device_id`), + KEY `ix_device_label_relationship_label_id` (`label_id`) +) ENGINE=InnoDB DEFAULT CHARSET=utf8; + +-- 表 test-lib.func_result 结构 +CREATE TABLE IF NOT EXISTS `func_result` ( + `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键自增id', + `gmt_created` datetime DEFAULT NULL COMMENT '创建时间', + `gmt_modified` datetime DEFAULT NULL COMMENT '修改时间', + `sub_case_name` varchar(128) NOT NULL COMMENT 'tone job名称', + `sub_case_result` enum('SUCCESS','FAIL','SKIP') NOT NULL COMMENT '功能结果', + `tone_suite_id` int(11) NOT NULL COMMENT 'suite id', + `tone_case_id` int(11) NOT NULL COMMENT 'tone case id', + `tone_job_id` int(11) NOT NULL COMMENT 'tone job id', + `task_id` int(11) NOT NULL COMMENT '测试方案id', + `current` json DEFAULT NULL, + `expect` json DEFAULT NULL, + PRIMARY KEY (`id`), + KEY `ix_func_result_tone_suite_id` (`tone_suite_id`), + KEY `ix_func_result_task_id` (`task_id`), + KEY `ix_func_result_tone_case_id` (`tone_case_id`), + KEY `ix_func_result_tone_job_id` (`tone_job_id`) +) ENGINE=InnoDB AUTO_INCREMENT=479 DEFAULT CHARSET=utf8; + +-- 表 test-lib.outline 结构 +CREATE TABLE IF NOT EXISTS `outline` ( + `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键自增id', + `gmt_created` datetime DEFAULT NULL COMMENT '创建时间', + `gmt_modified` datetime DEFAULT NULL COMMENT '修改时间', + `name` varchar(64) NOT NULL COMMENT '测试大纲文件名', + `title` varchar(128) NOT NULL COMMENT '测试大纲的标题', + `owner` varchar(16) NOT NULL COMMENT '测试大纲负责人', + `tid` varchar(256) NOT NULL COMMENT 'oss文件地址', + `remark` varchar(64) DEFAULT NULL COMMENT '测试大纲备注描述信息', + PRIMARY KEY (`id`) +) ENGINE=InnoDB AUTO_INCREMENT=8 DEFAULT CHARSET=utf8; + +-- 表 test-lib.perf_result 结构 +CREATE TABLE IF NOT EXISTS `perf_result` ( + `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键自增id', + `gmt_created` datetime DEFAULT NULL COMMENT '创建时间', + `gmt_modified` datetime DEFAULT NULL COMMENT '修改时间', + `metric` varchar(128) NOT NULL COMMENT '指标名称', + `test_value` varchar(64) DEFAULT NULL COMMENT '测试值', + `cv_value` varchar(64) DEFAULT NULL COMMENT 'cv值', + `max_value` varchar(64) DEFAULT NULL COMMENT '最大值', + `min_value` varchar(64) DEFAULT NULL COMMENT '最小值', + `unit` varchar(64) DEFAULT NULL COMMENT '测试单位', + `track_result` enum('NA','INVALID','NORMAL','DECLINE','INCREASE') NOT NULL COMMENT '跟踪结果', + `tone_suite_id` int(11) NOT NULL COMMENT 'suite id', + `tone_case_id` int(11) NOT NULL COMMENT 'tone case id', + `tone_job_id` int(11) NOT NULL COMMENT 'tone job id', + `task_id` int(11) NOT NULL COMMENT '测试方案id', + PRIMARY KEY (`id`), + KEY `ix_perf_result_task_id` (`task_id`), + KEY `ix_perf_result_tone_case_id` (`tone_case_id`), + KEY `ix_perf_result_tone_suite_id` (`tone_suite_id`), + KEY `ix_perf_result_tone_job_id` (`tone_job_id`) +) ENGINE=InnoDB AUTO_INCREMENT=6 DEFAULT CHARSET=utf8; + +-- 表 test-lib.plan 结构 +CREATE TABLE IF NOT EXISTS `plan` ( + `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键自增id', + `gmt_created` datetime DEFAULT NULL COMMENT '创建时间', + `gmt_modified` datetime DEFAULT NULL COMMENT '修改时间', + `title` varchar(64) NOT NULL COMMENT '测试方案名称', + `req_id` int(11) DEFAULT NULL COMMENT '测试需求id', + `req_title` varchar(128) DEFAULT NULL COMMENT '测试需求标题', + `content` json DEFAULT NULL COMMENT '测试方案内容', + `status` varchar(16) NOT NULL COMMENT '测试方案阶段状态', + `cases` varchar(256) DEFAULT NULL COMMENT '测试用例,多个使用","隔开', + `tasks` varchar(256) DEFAULT NULL COMMENT '测试任务,多个使用","隔开', + `reviewers` varchar(256) NOT NULL COMMENT '方案评审人列表', + `owner` varchar(256) NOT NULL COMMENT '测试需求的负责人，多个以,隔开', + `report` tinyint(1) NOT NULL COMMENT '测试报告是否已生成', + PRIMARY KEY (`id`), + UNIQUE KEY `title` (`title`) +) ENGINE=InnoDB AUTO_INCREMENT=63 DEFAULT CHARSET=utf8; + +-- 表 test-lib.plan_review 结构 +CREATE TABLE IF NOT EXISTS `plan_review` ( + `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键自增id', + `gmt_created` datetime DEFAULT NULL COMMENT '创建时间', + `gmt_modified` datetime DEFAULT NULL COMMENT '修改时间', + `plan_id` int(11) NOT NULL COMMENT '测试方案id', + `reviewer` varchar(32) NOT NULL COMMENT '测试需方案的评审人', + `status` varchar(16) NOT NULL COMMENT '评审状态', + `desc` varchar(512) DEFAULT NULL COMMENT '评审内容', + PRIMARY KEY (`id`) +) ENGINE=InnoDB DEFAULT CHARSET=utf8; + +-- 表 test-lib.product_category 结构 +CREATE TABLE IF NOT EXISTS `product_category` ( + `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键自增id', + `gmt_created` datetime DEFAULT NULL COMMENT '创建时间', + `gmt_modified` datetime DEFAULT NULL COMMENT '修改时间', + `name` varchar(64) NOT NULL COMMENT '大类名称', + PRIMARY KEY (`id`) +) ENGINE=InnoDB AUTO_INCREMENT=4 DEFAULT CHARSET=utf8; + +-- 表 test-lib.product_plan 结构 +CREATE TABLE IF NOT EXISTS `product_plan` ( + `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键自增id', + `gmt_created` datetime DEFAULT NULL COMMENT '创建时间', + `gmt_modified` datetime DEFAULT NULL COMMENT '修改时间', + `test_product_id` int(11) NOT NULL COMMENT '测试产品id', + `plan_id` int(11) NOT NULL COMMENT '测试产品实际复制执行的plan id', + `executor` varchar(256) NOT NULL COMMENT '测试产品执行人', + PRIMARY KEY (`id`) +) ENGINE=InnoDB AUTO_INCREMENT=8 DEFAULT CHARSET=utf8; + +-- 表 test-lib.requirement 结构 +CREATE TABLE IF NOT EXISTS `requirement` ( + `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键自增id', + `gmt_created` datetime DEFAULT NULL COMMENT '创建时间', + `gmt_modified` datetime DEFAULT NULL COMMENT '修改时间', + `title` varchar(128) NOT NULL COMMENT '测试需求标题', + `outline_id` int(11) DEFAULT NULL COMMENT '测试大纲id', + `outline_title` varchar(64) DEFAULT NULL COMMENT '测试大纲标题', + `content` json NOT NULL COMMENT '测试需求的描述内容', + `status` varchar(16) NOT NULL COMMENT '测试需求阶段', + `owner` varchar(16) NOT NULL COMMENT '测试需求的创建人', + `assignee` varchar(256) NOT NULL COMMENT '测试需求的指派人，多个以,隔开', + PRIMARY KEY (`id`) +) ENGINE=InnoDB AUTO_INCREMENT=9 DEFAULT CHARSET=utf8; + +-- 表 test-lib.task 结构 +CREATE TABLE IF NOT EXISTS `task` ( + `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键自增id', + `gmt_created` datetime DEFAULT NULL COMMENT '创建时间', + `gmt_modified` datetime DEFAULT NULL COMMENT '修改时间', + `name` varchar(64) NOT NULL COMMENT '任务名称', + `status` varchar(16) NOT NULL COMMENT '任务执行状态', + `run_method` enum('MANUAL','AUTO') NOT NULL COMMENT '测试任务执行方式', + `owner` varchar(256) NOT NULL COMMENT '任务执行人', + `plan_id` int(11) NOT NULL COMMENT '测试方案id', + `plan_title` varchar(256) NOT NULL COMMENT '测试方案标题', + `cases` varchar(256) NOT NULL COMMENT '测试用例,多个使用,隔开', + `desc` varchar(256) DEFAULT NULL COMMENT '备注', + `run_result` json DEFAULT NULL COMMENT '手动用例执行结果', + `config` json DEFAULT NULL COMMENT '测试任务配置', + `device_id` int(11) DEFAULT NULL COMMENT '测试设备ID', + `device_ip` varchar(256) DEFAULT NULL COMMENT '测试机器IP', + `workspace` varchar(128) NOT NULL COMMENT 'tone workspace', + `project` varchar(128) NOT NULL COMMENT 'tone project', + `job_type` varchar(128) NOT NULL COMMENT 'tone job type', + `test_type` varchar(32) DEFAULT 'others' COMMENT '测试任务类型', + `cluster` varchar(256) DEFAULT NULL COMMENT '测试机器集群名称', + `tags` varchar(256) DEFAULT NULL COMMENT '测试机器标签', + `tsn` varchar(256) DEFAULT NULL, + PRIMARY KEY (`id`), + KEY `ix_task_plan_id` (`plan_id`) +) ENGINE=InnoDB AUTO_INCREMENT=90 DEFAULT CHARSET=utf8; + +-- 表 test-lib.test_product 结构 +CREATE TABLE IF NOT EXISTS `test_product` ( + `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键自增id', + `gmt_created` datetime DEFAULT NULL COMMENT '创建时间', + `gmt_modified` datetime DEFAULT NULL COMMENT '修改时间', + `name` varchar(64) NOT NULL COMMENT '测试产品名称', + `category_id` int(11) NOT NULL COMMENT '大类id', + `origin_plan_id` int(11) NOT NULL COMMENT '测试产品对应的plan id', + `desc` varchar(256) DEFAULT NULL COMMENT '产品描述', + `test_method` varchar(256) DEFAULT NULL COMMENT '测试方法', + `test_requirement` varchar(256) DEFAULT NULL COMMENT '测试要求', + `need_config` tinyint(1) DEFAULT NULL COMMENT '是否扩展配置', + `owner` varchar(256) NOT NULL DEFAULT '' COMMENT '测试产品创建人', + PRIMARY KEY (`id`) +) ENGINE=InnoDB AUTO_INCREMENT=6 DEFAULT CHARSET=utf8; + +-- 表 test-lib.test_suite 结构 +CREATE TABLE IF NOT EXISTS `test_suite` ( + `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键自增id', + `gmt_created` datetime DEFAULT NULL COMMENT '创建时间', + `gmt_modified` datetime DEFAULT NULL COMMENT '修改时间', + `name` varchar(128) NOT NULL COMMENT '测试套名称', + `creator` varchar(64) NOT NULL COMMENT '测试套的创建人员', + PRIMARY KEY (`id`), + UNIQUE KEY `name` (`name`) +) ENGINE=InnoDB AUTO_INCREMENT=11 DEFAULT CHARSET=utf8; + +-- 表 test-lib.tone_case 结构 +CREATE TABLE IF NOT EXISTS `tone_case` ( + `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键自增id', + `gmt_created` datetime DEFAULT NULL COMMENT '创建时间', + `gmt_modified` datetime DEFAULT NULL COMMENT '修改时间', + `tone_case_id` int(11) NOT NULL COMMENT 'tone用例ID', + `tone_case_name` varchar(256) NOT NULL COMMENT 'tone用例名称', + `suite_id` int(11) NOT NULL COMMENT 'suite ID', + `suite_name` varchar(256) NOT NULL COMMENT 'suite用例名称', + `test_type` varchar(64) DEFAULT NULL COMMENT '测试类型', + PRIMARY KEY (`id`), + KEY `ix_tone_case_tone_case_name` (`tone_case_name`), + KEY `ix_tone_case_suite_id` (`suite_id`), + KEY `ix_tone_case_suite_name` (`suite_name`) +) ENGINE=InnoDB AUTO_INCREMENT=603 DEFAULT CHARSET=utf8; + +-- 表 test-lib.tone_job 结构 +CREATE TABLE IF NOT EXISTS `tone_job` ( + `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键自增id', + `gmt_created` datetime DEFAULT NULL COMMENT '创建时间', + `gmt_modified` datetime DEFAULT NULL COMMENT '修改时间', + `name` varchar(100) NOT NULL COMMENT 'tone job名称', + `state` enum('PENDING','RUNNING','SUCCESS','FAIL','STOP','SKIP') NOT NULL COMMENT 'tone job状态', + `test_type` enum('FUNCTIONAL','PERFORMANCE') NOT NULL COMMENT '测试类型', + `tone_job_id` int(11) NOT NULL COMMENT 'tone job id', + `tone_job_link` varchar(100) DEFAULT '' COMMENT 'tone job链接', + `task_id` int(11) NOT NULL COMMENT '测试方案id', + `server_info` json DEFAULT NULL COMMENT '存储tone job的机器信息', + PRIMARY KEY (`id`), + KEY `ix_tone_job_tone_job_id` (`tone_job_id`), + KEY `ix_tone_job_task_id` (`task_id`) +) ENGINE=InnoDB AUTO_INCREMENT=51 DEFAULT CHARSET=utf8; + +-- 表 test-lib.tone_sync_pull 结构 +CREATE TABLE IF NOT EXISTS `tone_sync_pull` ( + `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键自增id', + `gmt_created` datetime DEFAULT NULL COMMENT '创建时间', + `gmt_modified` datetime DEFAULT NULL COMMENT '修改时间', + PRIMARY KEY (`id`) +) ENGINE=InnoDB AUTO_INCREMENT=76149 DEFAULT CHARSET=utf8; + +-- 表 test-lib.tone_sync_push 结构 +CREATE TABLE IF NOT EXISTS `tone_sync_push` ( + `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键自增id', + `gmt_created` datetime DEFAULT NULL COMMENT '创建时间', + `gmt_modified` datetime DEFAULT NULL COMMENT '修改时间', + PRIMARY KEY (`id`) +) ENGINE=InnoDB DEFAULT CHARSET=utf8; + +-- 表 test-lib.user 结构 +CREATE TABLE IF NOT EXISTS `user` ( + `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键自增id', + `gmt_created` datetime DEFAULT NULL COMMENT '创建时间', + `gmt_modified` datetime DEFAULT NULL COMMENT '修改时间', + `user_name` varchar(256) DEFAULT NULL COMMENT '用户名称', + `nick_name` varchar(64) DEFAULT NULL COMMENT '用户昵称,具有唯一性', + `email` varchar(64) NOT NULL COMMENT '用户邮箱', + `avatar_url` varchar(512) DEFAULT NULL COMMENT '用户头像地址', + `role` enum('ADMIN','SENIOR','JUNIOR','COMMON') NOT NULL DEFAULT 'COMMON', + PRIMARY KEY (`id`), + UNIQUE KEY `nick_name` (`nick_name`), + KEY `ix_user_user_name` (`user_name`) +) ENGINE=InnoDB AUTO_INCREMENT=17 DEFAULT CHARSET=utf8; + +-- 表 test-lib.user_open_source 结构 +CREATE TABLE IF NOT EXISTS `user_open_source` ( + `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键自增id', + `gmt_created` datetime DEFAULT NULL COMMENT '创建时间', + `gmt_modified` datetime DEFAULT NULL COMMENT '修改时间', + `user_name` varchar(256) DEFAULT NULL COMMENT '用户名称', + `nick_name` varchar(64) NOT NULL COMMENT '用户昵称,具有唯一性', + `email` varchar(64) NOT NULL COMMENT '用户邮箱', + `password` varchar(64) NOT NULL COMMENT '用户密码,前端对密码md5加密后的值', + `avatar_url` varchar(512) DEFAULT NULL COMMENT '用户头像地址', + `role` enum('ADMIN','SENIOR','JUNIOR','COMMON') NOT NULL DEFAULT 'COMMON', + `token` varchar(256) NOT NULL COMMENT 'api访问凭证', + PRIMARY KEY (`id`), + UNIQUE KEY `nick_name` (`nick_name`), + UNIQUE KEY `email` (`email`), + KEY `ix_user_open_source_token` (`token`(255)) +) ENGINE=InnoDB AUTO_INCREMENT=15 DEFAULT CHARSET=utf8; + +-- 表 test-lib.user_role_op_record 结构 +CREATE TABLE IF NOT EXISTS `user_role_op_record` ( + `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键自增id', + `gmt_created` datetime DEFAULT NULL COMMENT '创建时间', + `gmt_modified` datetime DEFAULT NULL COMMENT '修改时间', + `applicant` varchar(64) NOT NULL COMMENT '申请人name', + `applicant_id` int(11) NOT NULL COMMENT '申请人ID', + `apply_reason` varchar(512) DEFAULT NULL COMMENT '申请理由', + `signer` varchar(64) DEFAULT NULL COMMENT '评审人name', + `has_review` tinyint(1) NOT NULL COMMENT '是否已经审核', + `review_result` enum('INIT','PASS','FAIL') NOT NULL COMMENT '审核结果', + `review_reason` varchar(512) DEFAULT NULL COMMENT '评审意见', + `method` enum('APPROVE','UPGRADE','DOWNGRADE','DELETE') NOT NULL COMMENT '操作方式', + PRIMARY KEY (`id`) +) ENGINE=InnoDB AUTO_INCREMENT=6 DEFAULT CHARSET=utf8; + +/*!40101 SET SQL_MODE=IFNULL(@OLD_SQL_MODE, '') */; +/*!40014 SET FOREIGN_KEY_CHECKS=IF(@OLD_FOREIGN_KEY_CHECKS IS NULL, 1, @OLD_FOREIGN_KEY_CHECKS) */; +/*!40101 SET CHARACTER_SET_CLIENT=@OLD_CHARACTER_SET_CLIENT */; + + +``` +
| 值班人员 | +星期一 | +星期二 | +星期三 | +
|---|---|---|---|
| 张三 | +李四 | +王五 | +
+ 
+
diff --git "a/sig/Anolis\350\277\201\347\247\273SIG/content/\347\224\250\346\210\267\346\214\207\345\215\2272/a\347\224\250\346\210\267\350\201\206\345\220\254-copy/\346\265\213\350\257\225\345\244\226\351\223\276\345\233\276\347\211\207.md" "b/sig/Anolis\350\277\201\347\247\273SIG/content/\347\224\250\346\210\267\346\214\207\345\215\2272/a\347\224\250\346\210\267\350\201\206\345\220\254-copy/\346\265\213\350\257\225\345\244\226\351\223\276\345\233\276\347\211\207.md"
new file mode 100644
index 0000000000000000000000000000000000000000..d0a3a7f08baab2c20bc46fc52570530781997763
--- /dev/null
+++ "b/sig/Anolis\350\277\201\347\247\273SIG/content/\347\224\250\346\210\267\346\214\207\345\215\2272/a\347\224\250\346\210\267\350\201\206\345\220\254-copy/\346\265\213\350\257\225\345\244\226\351\223\276\345\233\276\347\211\207.md"
@@ -0,0 +1,2 @@
+# hello
+
\ No newline at end of file
diff --git "a/sig/Anolis\350\277\201\347\247\273SIG/content/\347\224\250\346\210\267\346\214\207\345\215\2272/a\347\224\250\346\210\267\350\201\206\345\220\254-copy/\350\201\206\345\220\254.md" "b/sig/Anolis\350\277\201\347\247\273SIG/content/\347\224\250\346\210\267\346\214\207\345\215\2272/a\347\224\250\346\210\267\350\201\206\345\220\254-copy/\350\201\206\345\220\254.md"
new file mode 100644
index 0000000000000000000000000000000000000000..e5d110a57b01266616a91010b0b0032dcff2c5c1
--- /dev/null
+++ "b/sig/Anolis\350\277\201\347\247\273SIG/content/\347\224\250\346\210\267\346\214\207\345\215\2272/a\347\224\250\346\210\267\350\201\206\345\220\254-copy/\350\201\206\345\220\254.md"
@@ -0,0 +1,2 @@
+# hello, 欢迎来到聆听 .md
+## 阿斯顿发射点
\ No newline at end of file
diff --git "a/sig/Anolis\350\277\201\347\247\273SIG/content/\347\224\250\346\210\267\346\214\207\345\215\2272/test1.md" "b/sig/Anolis\350\277\201\347\247\273SIG/content/\347\224\250\346\210\267\346\214\207\345\215\2272/test1.md"
new file mode 100644
index 0000000000000000000000000000000000000000..bce7de8006c232d78a6c8052190ff0a3a60a8fa0
--- /dev/null
+++ "b/sig/Anolis\350\277\201\347\247\273SIG/content/\347\224\250\346\210\267\346\214\207\345\215\2272/test1.md"
@@ -0,0 +1,73 @@
+*斜体文字*
+
+_斜体文字_
+
+**粗体文字**
+
+__粗体文字__
+
+***粗斜体文字***
+
+___粗斜体文字___
+
+***
+* * *
+******
+- - -
+------
+
+~~删除线~~
+
+带下划线文本
+
+# 一级标题
+
+## 二级标题
+
+### 三级标题
+
+#### 四级标题
+
+##### 五级标题
+
+###### 六级标题
+[链接]（http://a.com）
+
+> 引用
+* 第一项
+* 第二项
+* 第三项
+
++ 第一项
++ 第二项
++ 第三项
+
+- 第一项
+- 第二项
+- 第三项
+1. 第一项
+2. 第二项
+3. 第三项
+
+1. 第一项：
+ - 第一项嵌套的第一个元素
+ - 第一项嵌套的第二个元素
+2. 第二项：
+ - 第二项嵌套的第一个元素
+ - 第二项嵌套的第二个元素
+水平线：
+
+---
+带反引号的“内联代码”
+```
+# 代码块
+print '3 个反引号或'
+print '缩进 4 个空格'
+```
+
+> 区块引用
+> Markdown教程
+> 学的不仅是技术更是梦想
+
+
+SDFGSDFGSDFGSDFG
\ No newline at end of file
diff --git "a/sig/Anolis\350\277\201\347\247\273SIG/content/\347\224\250\346\210\267\346\214\207\345\215\2272/tone\351\203\250\347\275\262.md" "b/sig/Anolis\350\277\201\347\247\273SIG/content/\347\224\250\346\210\267\346\214\207\345\215\2272/tone\351\203\250\347\275\262.md"
new file mode 100644
index 0000000000000000000000000000000000000000..12f85c9bb02d73ecf4fa31b8773d8b3743913cf7
--- /dev/null
+++ "b/sig/Anolis\350\277\201\347\247\273SIG/content/\347\224\250\346\210\267\346\214\207\345\215\2272/tone\351\203\250\347\275\262.md"
@@ -0,0 +1,615 @@
+# 部署说明
+
+> 此文档以开源版本 T-One 最小单元部署举例说明，不保障系统的高可用及性能等
+>
+> 若期望大规模集群化部署可以联系SIG项目组进行具体讨论。
+> 若遇到问题请参照文未的 FAQ 文档，或进 SIG 群联系我们。
+
+**组件说明**： T-One 包含多个自研组件和几个开源组件，此文档以开源版本 T-One 最小单元部署举例说明。
+
+* 自研组件：tone-web、tone-agent-proxy、tone-agent、tone-runner等。
+* 开源组件：mysql、kafka、redis、zookeeper
+
+**机器要求**：
+
+* 硬件要求：推荐使用 8c16g 以上规格机器。
+* OS 要求：推荐使用 Anolis OS 系统进行部署（ 暂不支持debian、ubuntu等）。
+
+**部署说明**：
+- 主要分为安装环境、项目构建、项目启动、数据初始化等几个步骤。
+- 该文档以x86_64机器为例， 如果您的部署机器为其他arch类型的机器，则需要将docker-compose.yaml中指定的第三方开源组件镜像更换成对应的镜像源。
+- 可以自己指定安装目录，该文档以 ~/tone目录为例(推荐)。
+
+# 部署步骤
+> 后续步骤以 Anolis OS 8.6 环境为示例进行行详细说明。
+
+## 1. 环境准备
+
+### a. 安装docker
+```
+ yum -y install yum-utils
+ yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
+ yum install -y docker-ce # 若出错：yum install -y docker-ce --nobest --allowerasing
+
+ # 启动docker
+ systemctl enable docker
+ systemctl start docker
+ systemctl status docker
+```
+### b. 配置docker源
+```
+ vim /etc/docker/daemon.json
+ {
+ "registry-mirrors": [
+ "https://6kx4zyno.mirror.aliyuncs.com",
+ "https://docker.mirrors.ustc.edu.cn",
+ "http://hub-mirror.c.163.com",
+ "https://registry.docker-cn.com"]
+ }
+ systemctl restart docker
+ # 建议使用国内镜像源。 阿里云: https://6kx4zyno.mirror.aliyuncs.com，网易: http://hub-mirror.c.163.com
+```
+### c. 安装docker-compose
+```
+ pip3 install --upgrade pip
+ pip3 install docker-compose
+ docker-compose --version
+```
+
+## 2. 项目构建
+
+### a. 下载项目源码
+```shell
+yum install -y git
+
+git clone --single-branch --branch master https://gitee.com/anolis/tone-web.git ~/tone/code/tone-web
+git clone --single-branch --branch master https://gitee.com/anolis/tone-runner.git ~/tone/code/tone-runner
+git clone --single-branch --branch master https://gitee.com/anolis/tone-agent-proxy.git ~/tone/code/tone-agent-proxy
+git clone --single-branch --branch master https://gitee.com/anolis/tone-storage.git ~/tone/code/tone-storage
+```
+下载后的目录结构：
+```
+~/tone/code/
+ ├── tone-web
+ ├── tone-runner
+ ├── tone-agent-proxy
+ └── tone-storage
+```
+
+### b. 集成前端代码
+```shell
+# 下载前端代码包：
+wget https://anolis-service-pub.oss-cn-zhangjiakou.aliyuncs.com/biz-resource/tone/deploy/front/tone-front-latest.zip
+wget https://anolis-service-pub.oss-cn-zhangjiakou.aliyuncs.com/biz-resource/tone/deploy/front/toneagent-front-latest.zip
+# 安装unzip命令
+yum install -y unzip
+# 解压到指定目录
+unzip -j -o tone-front-latest.zip -d ~/tone/code/tone-web/static/front/
+unzip -j -o toneagent-front-latest.zip -d ~/tone/code/tone-agent-proxy/static/front/
+```
+
+## 3. 项目配置
+### a. 下载 docker-compose.yaml
+```shell
+cd ~/tone
+wget https://anolis-service-pub.oss-cn-zhangjiakou.aliyuncs.com/biz-resource/tone/deploy/docker-compose.yaml
+```
+
+### b. 设置并替换变量
+执行以下脚本(需手动替换`必填的`变量):
+```shell
+# 部署机外网IP地址(必填)
+server_ip=
+
+# 账号密码(必填)
+db_password=
+redis_password=
+tone_storage_password=
+
+# 镜像版本标签(非必改、默认latest)
+version_tag=latest
+
+# token(非必改、可自动生成)
+toneagent_access_key=$(uuidgen)
+toneagent_secret_key=$(uuidgen)
+admin_urls_token=$(uuidgen)
+pub_api_token=$(uuidgen)
+
+sed -i "s/var_db_password/${db_password}/g" docker-compose.yaml
+sed -i "s/var_redis_password/${redis_password}/g" docker-compose.yaml
+sed -i "s/var_tone_storage/${tone_storage_password}/g" docker-compose.yaml
+sed -i "s/var_toneagent_access_key/${toneagent_access_key}/g" docker-compose.yaml
+sed -i "s/var_toneagent_secret_key/${toneagent_secret_key}/g" docker-compose.yaml
+sed -i "s/var_admin_urls_token/${admin_urls_token}/g" docker-compose.yaml
+sed -i "s/var_pub_api_token/${pub_api_token}/g" docker-compose.yaml
+sed -i "s/var_version_tag/${version_tag}/g" docker-compose.yaml
+sed -i "s/var_server_ip/${server_ip}/g" docker-compose.yaml
+```
+
+### c. 启动docker-compose
+```shell
+docker-compose -f ~/tone/docker-compose.yaml up --build -d
+# 注：如代码有更新或首次部署，需要加 --build 参数才会自动重新打包镜像
+```
+
+## 4. 数据初始化
+### a.初始化db
+* 进入`mysql` docker 镜像中，`docker exec -it {数据库容器ID} bash`
+* 连接数据库：`mysql -h 127.0.0.1 -P 3306 -u root -p`
+* 创建 `T-One` 数据库 `tone-db`，`ToneAgent` 数据库 `toneagent-db`
+ ```
+ CREATE DATABASE `tone-db` CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
+ CREATE DATABASE `toneagent-db` CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
+ ```
+ 也可以直接通过 mysql 可视化界面初始化数据库
+
+### b.初始化 `T-One` 数据
+浏览器或者curl命令请求接口($admin_urls_token可在docker-compose配置里查看或更改)
+```shell
+curl -s "http://${server_ip}:8080/admin/migrate/?token=${admin_urls_token}"
+curl -s "http://${server_ip}:8080/admin/init_data/?token=${admin_urls_token}"
+curl -s "http://${server_ip}:8080/admin/create_superuser/?token=${admin_urls_token}&username=admin&password=admin123."
+curl -s "http://${server_ip}:8081/admin/migrate/?token=${admin_urls_token}"
+curl -s "http://${server_ip}:8081/admin/create_superuser/?token=${admin_urls_token}&username=admin&password=admin123."
+curl -s "http://${server_ip}:8081/admin/import_access_token/?token=${admin_urls_token}"
+```
+
+### c. `T-One` 关联依赖配置
+**系统执行任务还需对以下配置进行设置**
+
+- 配置 `T-One` 测试用例
+- 配置`T-One` 测试机器
+- 配置 `ToneAgent` `token`
+ - 在 ToneAgent 系统-账号管理中增加一组 token
+ - 更改 docker-compose 配置中的toneagent_access_key和toneagent_secret_key
+
+## 5. 验证
+使用浏览器打开链接查看： `T-One` 页面：`http://{host}:8080` `ToneAgent` 管理页面：`http://{host}:8081`
+
+## 6. T-One 多生态使用
+`T-One` + `TestLib`
+### a. 创建 `TestLib` 数据库
+- 进入 mysql docker 镜像，docker exec -it {数据库容器ID} bash
+- 连接数据库：mysql -h 127.0.0.1 -P 3306 -u root -p
+- 创建 TestLib 数据库 testlib
+
+ CREATE DATABASE \`test-lib\` CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
+- 创建 TestLib 数据库表
+### testlib数据库初始化
+
+
+
+### b.TestLib 服务依赖
+### c. clone test-lib代码到~/tone/code目录下
+```shell
+git clone --single-branch --branch master https://gitee.com/anolis/testlib.git ~/tone/code/testlib
+```
+### d.增加docker-compose配置
+```yaml
+# docker-compose.yaml service下增加test-lib
+ test-lib:
+ build:
+ context: code/testlib/
+ dockerfile: Dockerfile
+ args:
+ APP_NAME: test-lib
+ ENV: daily
+ image: test-lib:latest
+ ports:
+ - "8005:8005"
+ depends_on:
+ - mysql
+ - redis
+ environment:
+ <<: *common-variables
+ # db
+ db_url: mysql+aiomysql://${db_user}:{db_password}@mysql:3306/test-lib
+ # redis
+ redis_url: redis://:${redis_password}@redis:6379/10
+ # app
+ tone_host: http://${server_ip}:8080/
+ tone_token: tone_token
+ tone_user_name: tone_user_name
+ main_domain: http://${server_ip}:8005
+ oss_url: http://${server_ip}:8005
+```
+#### e.重启服务
+```shell
+docker-compose -f ~/tone/docker-compose.yaml up --build -d
+```
+## 7. 独立部署 FAQ
+https://tone.openanolis.cn/help_doc/12
\ No newline at end of file
diff --git "a/sig/Anolis\350\277\201\347\247\273SIG/content/\347\224\250\346\210\267\346\214\207\345\215\2272/\347\224\250\346\210\267\350\201\206\345\220\254/test.md" "b/sig/Anolis\350\277\201\347\247\273SIG/content/\347\224\250\346\210\267\346\214\207\345\215\2272/\347\224\250\346\210\267\350\201\206\345\220\254/test.md"
new file mode 100644
index 0000000000000000000000000000000000000000..b09df7d02fee342106c45e78485a992609d67bdb
--- /dev/null
+++ "b/sig/Anolis\350\277\201\347\247\273SIG/content/\347\224\250\346\210\267\346\214\207\345\215\2272/\347\224\250\346\210\267\350\201\206\345\220\254/test.md"
@@ -0,0 +1,70 @@
+# 一级标题
+## 二级标题
+### 三级标题
+**粗体文本**
+
+__cuti__
+
+*斜体文本*
+
+_xieti_
+
+下划线
+
+~~删除线~~
+
+上标：Xy
+
+下标：An
+
+> 引用文本
+- 无序列表项1
+ - 第二层
+- 无序列表项2
+* * *
+1. 有序列表项1
+2. 有序列表项2
+---
+[链接文本](https://gitee.com/suli01/community/edit/master/sig/T-One/content/%E7%94%A8%E6%88%B7%E6%8C%87%E5%8D%97/%E7%94%A8%E6%88%B7%E8%81%86%E5%90%AC/test.md)
+
+链接名称
+
+'''python
+def hello_world():
+ print("Hello, world!")
+
+
+
+| 列1 | 列2 | 列3 |
+| --- | --- | --- |
+| 单元格1 | 单元格2 | 单元格3 |
+| 单元格4 | 单元格5 | 单元格6 |
+
+
+| 左对齐 | 居中对齐 | 右对齐 |
+|:-----|:------:|------:|
+| 文本 | 文本 | 文本 |
+
+点击展开/折叠脚本
+ +```shell + +/*!40101 SET @OLD_CHARACTER_SET_CLIENT=@@CHARACTER_SET_CLIENT */; +/*!40101 SET NAMES utf8 */; +/*!50503 SET NAMES utf8mb4 */; +/*!40014 SET @OLD_FOREIGN_KEY_CHECKS=@@FOREIGN_KEY_CHECKS, FOREIGN_KEY_CHECKS=0 */; +/*!40101 SET @OLD_SQL_MODE=@@SQL_MODE, SQL_MODE='NO_AUTO_VALUE_ON_ZERO' */; + +-- 表 test-lib.case 结构 +CREATE TABLE IF NOT EXISTS `case` ( + `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键自增id', + `gmt_created` datetime DEFAULT NULL COMMENT '创建时间', + `gmt_modified` datetime DEFAULT NULL COMMENT '修改时间', + `name` varchar(64) NOT NULL COMMENT '测试用例名称', + `creator` varchar(64) NOT NULL COMMENT '负责人', + `type` enum('FUNCTIONAL','PERFORMANCE','STRESS','LOAD','SECURITY','COMPATIBILITY','OTHERS') NOT NULL COMMENT '测试用例类型', + `priority` enum('PRIORITY_0','PRIORITY_1','PRIORITY_2','PRIORITY_3') NOT NULL COMMENT '测试用例的优先级', + `suite_name` varchar(128) DEFAULT NULL COMMENT '测试套名称', + `run_method` enum('MANUAL','AUTO') NOT NULL COMMENT '测试用例执行方式,手动、自动', + `run_model` enum('SINGLE','CLUSTER') NOT NULL COMMENT '测试用例运行模式,单机、集群', + `is_available` tinyint(1) NOT NULL COMMENT '测试用例是否可用', + `tone_case` varchar(128) DEFAULT NULL COMMENT 'T-One测试用例，当run_method为自动的时候生效', + `device_type` varchar(128) DEFAULT 'unlimit' COMMENT '设备类型,可多选,默认支持所有设备', + `device_arch` varchar(256) NOT NULL COMMENT '设备架构类型,可多选,默认支撑所有类型', + `labels` varchar(256) DEFAULT NULL COMMENT '设备标签,多个用,隔开', + `desc` varchar(512) DEFAULT NULL COMMENT '用例描述', + `pre_condition` varchar(512) DEFAULT NULL COMMENT '前置条件', + `steps` json DEFAULT NULL COMMENT '操作步骤', + `custom_fields` json DEFAULT NULL COMMENT '测试用例扩展属性', + `parent` int(11) NOT NULL COMMENT '测试用例分类节点', + PRIMARY KEY (`id`), + UNIQUE KEY `name` (`name`), + KEY `ix_case_suite_name` (`suite_name`) +) ENGINE=InnoDB AUTO_INCREMENT=31 DEFAULT CHARSET=utf8; + +-- 表 test-lib.case_label 结构 +CREATE TABLE IF NOT EXISTS `case_label` ( + `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键自增id', + `gmt_created` datetime DEFAULT NULL COMMENT '创建时间', + `gmt_modified` datetime DEFAULT NULL COMMENT '修改时间', + `name` varchar(64) NOT NULL COMMENT '用例标签', + `creator` varchar(64) NOT NULL COMMENT '标签创建人', + PRIMARY KEY (`id`), + UNIQUE KEY `name` (`name`) +) ENGINE=InnoDB AUTO_INCREMENT=4 DEFAULT CHARSET=utf8; + +-- 表 test-lib.case_label_map 结构 +CREATE TABLE IF NOT EXISTS `case_label_map` ( + `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键自增id', + `gmt_created` datetime DEFAULT NULL COMMENT '创建时间', + `gmt_modified` datetime DEFAULT NULL COMMENT '修改时间', + `label_name` varchar(64) NOT NULL COMMENT '用例名称', + `case_id` int(11) NOT NULL COMMENT '用例ID', + PRIMARY KEY (`id`), + KEY `ix_case_label_map_label_name` (`label_name`) +) ENGINE=InnoDB AUTO_INCREMENT=16 DEFAULT CHARSET=utf8; + +-- 表 test-lib.case_tree 结构 +CREATE TABLE IF NOT EXISTS `case_tree` ( + `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键自增id', + `gmt_created` datetime DEFAULT NULL COMMENT '创建时间', + `gmt_modified` datetime DEFAULT NULL COMMENT '修改时间', + `name` varchar(16) NOT NULL COMMENT '用例结构树节点名称', + `parent` int(11) NOT NULL COMMENT '父节点id', + `level` int(11) NOT NULL COMMENT '树结构的深度', + `path` varchar(128) NOT NULL COMMENT '模块完整路径', + `children_nums` int(11) NOT NULL COMMENT '子节点数量', + PRIMARY KEY (`id`), + KEY `ix_case_tree_path` (`path`) +) ENGINE=InnoDB AUTO_INCREMENT=11 DEFAULT CHARSET=utf8; + +-- 表 test-lib.device 结构 +CREATE TABLE IF NOT EXISTS `device` ( + `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键自增id', + `gmt_created` datetime DEFAULT NULL COMMENT '创建时间', + `gmt_modified` datetime DEFAULT NULL COMMENT '修改时间', + `name` varchar(64) NOT NULL COMMENT '设备名称', + `arch` enum('X86','ARCH64','RISCV','LOONGARCH','NOARCH','OTHERS') NOT NULL COMMENT '设备架构', + `ip` varchar(16) NOT NULL COMMENT '设备ip', + `type` enum('UNLIMIT','VM','DOCKER','PHYSICS') NOT NULL COMMENT '设备类型', + `sn` varchar(16) DEFAULT NULL COMMENT '设备序号', + `status` tinyint(1) NOT NULL COMMENT '设备是否可用', + `label` json DEFAULT NULL COMMENT '设备标签列表数组', + `owner` varchar(256) NOT NULL COMMENT '设备负责人', + PRIMARY KEY (`id`) +) ENGINE=InnoDB AUTO_INCREMENT=3 DEFAULT CHARSET=utf8; + +-- 表 test-lib.device_label 结构 +CREATE TABLE IF NOT EXISTS `device_label` ( + `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键自增id', + `gmt_created` datetime DEFAULT NULL COMMENT '创建时间', + `gmt_modified` datetime DEFAULT NULL COMMENT '修改时间', + `name` varchar(64) NOT NULL COMMENT '设备标签名称', + `color` varchar(32) NOT NULL COMMENT '设备标签颜色', + PRIMARY KEY (`id`), + UNIQUE KEY `ix_device_label_name` (`name`) +) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8; + +-- 表 test-lib.device_label_relationship 结构 +CREATE TABLE IF NOT EXISTS `device_label_relationship` ( + `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键自增id', + `gmt_created` datetime DEFAULT NULL COMMENT '创建时间', + `gmt_modified` datetime DEFAULT NULL COMMENT '修改时间', + `label_id` int(11) NOT NULL COMMENT '机器Label id', + `device_id` int(11) NOT NULL COMMENT '机器Label id', + `is_delete` tinyint(1) DEFAULT NULL COMMENT '对应关系是否删除', + PRIMARY KEY (`id`), + KEY `ix_device_label_relationship_device_id` (`device_id`), + KEY `ix_device_label_relationship_label_id` (`label_id`) +) ENGINE=InnoDB DEFAULT CHARSET=utf8; + +-- 表 test-lib.func_result 结构 +CREATE TABLE IF NOT EXISTS `func_result` ( + `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键自增id', + `gmt_created` datetime DEFAULT NULL COMMENT '创建时间', + `gmt_modified` datetime DEFAULT NULL COMMENT '修改时间', + `sub_case_name` varchar(128) NOT NULL COMMENT 'tone job名称', + `sub_case_result` enum('SUCCESS','FAIL','SKIP') NOT NULL COMMENT '功能结果', + `tone_suite_id` int(11) NOT NULL COMMENT 'suite id', + `tone_case_id` int(11) NOT NULL COMMENT 'tone case id', + `tone_job_id` int(11) NOT NULL COMMENT 'tone job id', + `task_id` int(11) NOT NULL COMMENT '测试方案id', + `current` json DEFAULT NULL, + `expect` json DEFAULT NULL, + PRIMARY KEY (`id`), + KEY `ix_func_result_tone_suite_id` (`tone_suite_id`), + KEY `ix_func_result_task_id` (`task_id`), + KEY `ix_func_result_tone_case_id` (`tone_case_id`), + KEY `ix_func_result_tone_job_id` (`tone_job_id`) +) ENGINE=InnoDB AUTO_INCREMENT=479 DEFAULT CHARSET=utf8; + +-- 表 test-lib.outline 结构 +CREATE TABLE IF NOT EXISTS `outline` ( + `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键自增id', + `gmt_created` datetime DEFAULT NULL COMMENT '创建时间', + `gmt_modified` datetime DEFAULT NULL COMMENT '修改时间', + `name` varchar(64) NOT NULL COMMENT '测试大纲文件名', + `title` varchar(128) NOT NULL COMMENT '测试大纲的标题', + `owner` varchar(16) NOT NULL COMMENT '测试大纲负责人', + `tid` varchar(256) NOT NULL COMMENT 'oss文件地址', + `remark` varchar(64) DEFAULT NULL COMMENT '测试大纲备注描述信息', + PRIMARY KEY (`id`) +) ENGINE=InnoDB AUTO_INCREMENT=8 DEFAULT CHARSET=utf8; + +-- 表 test-lib.perf_result 结构 +CREATE TABLE IF NOT EXISTS `perf_result` ( + `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键自增id', + `gmt_created` datetime DEFAULT NULL COMMENT '创建时间', + `gmt_modified` datetime DEFAULT NULL COMMENT '修改时间', + `metric` varchar(128) NOT NULL COMMENT '指标名称', + `test_value` varchar(64) DEFAULT NULL COMMENT '测试值', + `cv_value` varchar(64) DEFAULT NULL COMMENT 'cv值', + `max_value` varchar(64) DEFAULT NULL COMMENT '最大值', + `min_value` varchar(64) DEFAULT NULL COMMENT '最小值', + `unit` varchar(64) DEFAULT NULL COMMENT '测试单位', + `track_result` enum('NA','INVALID','NORMAL','DECLINE','INCREASE') NOT NULL COMMENT '跟踪结果', + `tone_suite_id` int(11) NOT NULL COMMENT 'suite id', + `tone_case_id` int(11) NOT NULL COMMENT 'tone case id', + `tone_job_id` int(11) NOT NULL COMMENT 'tone job id', + `task_id` int(11) NOT NULL COMMENT '测试方案id', + PRIMARY KEY (`id`), + KEY `ix_perf_result_task_id` (`task_id`), + KEY `ix_perf_result_tone_case_id` (`tone_case_id`), + KEY `ix_perf_result_tone_suite_id` (`tone_suite_id`), + KEY `ix_perf_result_tone_job_id` (`tone_job_id`) +) ENGINE=InnoDB AUTO_INCREMENT=6 DEFAULT CHARSET=utf8; + +-- 表 test-lib.plan 结构 +CREATE TABLE IF NOT EXISTS `plan` ( + `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键自增id', + `gmt_created` datetime DEFAULT NULL COMMENT '创建时间', + `gmt_modified` datetime DEFAULT NULL COMMENT '修改时间', + `title` varchar(64) NOT NULL COMMENT '测试方案名称', + `req_id` int(11) DEFAULT NULL COMMENT '测试需求id', + `req_title` varchar(128) DEFAULT NULL COMMENT '测试需求标题', + `content` json DEFAULT NULL COMMENT '测试方案内容', + `status` varchar(16) NOT NULL COMMENT '测试方案阶段状态', + `cases` varchar(256) DEFAULT NULL COMMENT '测试用例,多个使用","隔开', + `tasks` varchar(256) DEFAULT NULL COMMENT '测试任务,多个使用","隔开', + `reviewers` varchar(256) NOT NULL COMMENT '方案评审人列表', + `owner` varchar(256) NOT NULL COMMENT '测试需求的负责人，多个以,隔开', + `report` tinyint(1) NOT NULL COMMENT '测试报告是否已生成', + PRIMARY KEY (`id`), + UNIQUE KEY `title` (`title`) +) ENGINE=InnoDB AUTO_INCREMENT=63 DEFAULT CHARSET=utf8; + +-- 表 test-lib.plan_review 结构 +CREATE TABLE IF NOT EXISTS `plan_review` ( + `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键自增id', + `gmt_created` datetime DEFAULT NULL COMMENT '创建时间', + `gmt_modified` datetime DEFAULT NULL COMMENT '修改时间', + `plan_id` int(11) NOT NULL COMMENT '测试方案id', + `reviewer` varchar(32) NOT NULL COMMENT '测试需方案的评审人', + `status` varchar(16) NOT NULL COMMENT '评审状态', + `desc` varchar(512) DEFAULT NULL COMMENT '评审内容', + PRIMARY KEY (`id`) +) ENGINE=InnoDB DEFAULT CHARSET=utf8; + +-- 表 test-lib.product_category 结构 +CREATE TABLE IF NOT EXISTS `product_category` ( + `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键自增id', + `gmt_created` datetime DEFAULT NULL COMMENT '创建时间', + `gmt_modified` datetime DEFAULT NULL COMMENT '修改时间', + `name` varchar(64) NOT NULL COMMENT '大类名称', + PRIMARY KEY (`id`) +) ENGINE=InnoDB AUTO_INCREMENT=4 DEFAULT CHARSET=utf8; + +-- 表 test-lib.product_plan 结构 +CREATE TABLE IF NOT EXISTS `product_plan` ( + `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键自增id', + `gmt_created` datetime DEFAULT NULL COMMENT '创建时间', + `gmt_modified` datetime DEFAULT NULL COMMENT '修改时间', + `test_product_id` int(11) NOT NULL COMMENT '测试产品id', + `plan_id` int(11) NOT NULL COMMENT '测试产品实际复制执行的plan id', + `executor` varchar(256) NOT NULL COMMENT '测试产品执行人', + PRIMARY KEY (`id`) +) ENGINE=InnoDB AUTO_INCREMENT=8 DEFAULT CHARSET=utf8; + +-- 表 test-lib.requirement 结构 +CREATE TABLE IF NOT EXISTS `requirement` ( + `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键自增id', + `gmt_created` datetime DEFAULT NULL COMMENT '创建时间', + `gmt_modified` datetime DEFAULT NULL COMMENT '修改时间', + `title` varchar(128) NOT NULL COMMENT '测试需求标题', + `outline_id` int(11) DEFAULT NULL COMMENT '测试大纲id', + `outline_title` varchar(64) DEFAULT NULL COMMENT '测试大纲标题', + `content` json NOT NULL COMMENT '测试需求的描述内容', + `status` varchar(16) NOT NULL COMMENT '测试需求阶段', + `owner` varchar(16) NOT NULL COMMENT '测试需求的创建人', + `assignee` varchar(256) NOT NULL COMMENT '测试需求的指派人，多个以,隔开', + PRIMARY KEY (`id`) +) ENGINE=InnoDB AUTO_INCREMENT=9 DEFAULT CHARSET=utf8; + +-- 表 test-lib.task 结构 +CREATE TABLE IF NOT EXISTS `task` ( + `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键自增id', + `gmt_created` datetime DEFAULT NULL COMMENT '创建时间', + `gmt_modified` datetime DEFAULT NULL COMMENT '修改时间', + `name` varchar(64) NOT NULL COMMENT '任务名称', + `status` varchar(16) NOT NULL COMMENT '任务执行状态', + `run_method` enum('MANUAL','AUTO') NOT NULL COMMENT '测试任务执行方式', + `owner` varchar(256) NOT NULL COMMENT '任务执行人', + `plan_id` int(11) NOT NULL COMMENT '测试方案id', + `plan_title` varchar(256) NOT NULL COMMENT '测试方案标题', + `cases` varchar(256) NOT NULL COMMENT '测试用例,多个使用,隔开', + `desc` varchar(256) DEFAULT NULL COMMENT '备注', + `run_result` json DEFAULT NULL COMMENT '手动用例执行结果', + `config` json DEFAULT NULL COMMENT '测试任务配置', + `device_id` int(11) DEFAULT NULL COMMENT '测试设备ID', + `device_ip` varchar(256) DEFAULT NULL COMMENT '测试机器IP', + `workspace` varchar(128) NOT NULL COMMENT 'tone workspace', + `project` varchar(128) NOT NULL COMMENT 'tone project', + `job_type` varchar(128) NOT NULL COMMENT 'tone job type', + `test_type` varchar(32) DEFAULT 'others' COMMENT '测试任务类型', + `cluster` varchar(256) DEFAULT NULL COMMENT '测试机器集群名称', + `tags` varchar(256) DEFAULT NULL COMMENT '测试机器标签', + `tsn` varchar(256) DEFAULT NULL, + PRIMARY KEY (`id`), + KEY `ix_task_plan_id` (`plan_id`) +) ENGINE=InnoDB AUTO_INCREMENT=90 DEFAULT CHARSET=utf8; + +-- 表 test-lib.test_product 结构 +CREATE TABLE IF NOT EXISTS `test_product` ( + `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键自增id', + `gmt_created` datetime DEFAULT NULL COMMENT '创建时间', + `gmt_modified` datetime DEFAULT NULL COMMENT '修改时间', + `name` varchar(64) NOT NULL COMMENT '测试产品名称', + `category_id` int(11) NOT NULL COMMENT '大类id', + `origin_plan_id` int(11) NOT NULL COMMENT '测试产品对应的plan id', + `desc` varchar(256) DEFAULT NULL COMMENT '产品描述', + `test_method` varchar(256) DEFAULT NULL COMMENT '测试方法', + `test_requirement` varchar(256) DEFAULT NULL COMMENT '测试要求', + `need_config` tinyint(1) DEFAULT NULL COMMENT '是否扩展配置', + `owner` varchar(256) NOT NULL DEFAULT '' COMMENT '测试产品创建人', + PRIMARY KEY (`id`) +) ENGINE=InnoDB AUTO_INCREMENT=6 DEFAULT CHARSET=utf8; + +-- 表 test-lib.test_suite 结构 +CREATE TABLE IF NOT EXISTS `test_suite` ( + `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键自增id', + `gmt_created` datetime DEFAULT NULL COMMENT '创建时间', + `gmt_modified` datetime DEFAULT NULL COMMENT '修改时间', + `name` varchar(128) NOT NULL COMMENT '测试套名称', + `creator` varchar(64) NOT NULL COMMENT '测试套的创建人员', + PRIMARY KEY (`id`), + UNIQUE KEY `name` (`name`) +) ENGINE=InnoDB AUTO_INCREMENT=11 DEFAULT CHARSET=utf8; + +-- 表 test-lib.tone_case 结构 +CREATE TABLE IF NOT EXISTS `tone_case` ( + `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键自增id', + `gmt_created` datetime DEFAULT NULL COMMENT '创建时间', + `gmt_modified` datetime DEFAULT NULL COMMENT '修改时间', + `tone_case_id` int(11) NOT NULL COMMENT 'tone用例ID', + `tone_case_name` varchar(256) NOT NULL COMMENT 'tone用例名称', + `suite_id` int(11) NOT NULL COMMENT 'suite ID', + `suite_name` varchar(256) NOT NULL COMMENT 'suite用例名称', + `test_type` varchar(64) DEFAULT NULL COMMENT '测试类型', + PRIMARY KEY (`id`), + KEY `ix_tone_case_tone_case_name` (`tone_case_name`), + KEY `ix_tone_case_suite_id` (`suite_id`), + KEY `ix_tone_case_suite_name` (`suite_name`) +) ENGINE=InnoDB AUTO_INCREMENT=603 DEFAULT CHARSET=utf8; + +-- 表 test-lib.tone_job 结构 +CREATE TABLE IF NOT EXISTS `tone_job` ( + `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键自增id', + `gmt_created` datetime DEFAULT NULL COMMENT '创建时间', + `gmt_modified` datetime DEFAULT NULL COMMENT '修改时间', + `name` varchar(100) NOT NULL COMMENT 'tone job名称', + `state` enum('PENDING','RUNNING','SUCCESS','FAIL','STOP','SKIP') NOT NULL COMMENT 'tone job状态', + `test_type` enum('FUNCTIONAL','PERFORMANCE') NOT NULL COMMENT '测试类型', + `tone_job_id` int(11) NOT NULL COMMENT 'tone job id', + `tone_job_link` varchar(100) DEFAULT '' COMMENT 'tone job链接', + `task_id` int(11) NOT NULL COMMENT '测试方案id', + `server_info` json DEFAULT NULL COMMENT '存储tone job的机器信息', + PRIMARY KEY (`id`), + KEY `ix_tone_job_tone_job_id` (`tone_job_id`), + KEY `ix_tone_job_task_id` (`task_id`) +) ENGINE=InnoDB AUTO_INCREMENT=51 DEFAULT CHARSET=utf8; + +-- 表 test-lib.tone_sync_pull 结构 +CREATE TABLE IF NOT EXISTS `tone_sync_pull` ( + `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键自增id', + `gmt_created` datetime DEFAULT NULL COMMENT '创建时间', + `gmt_modified` datetime DEFAULT NULL COMMENT '修改时间', + PRIMARY KEY (`id`) +) ENGINE=InnoDB AUTO_INCREMENT=76149 DEFAULT CHARSET=utf8; + +-- 表 test-lib.tone_sync_push 结构 +CREATE TABLE IF NOT EXISTS `tone_sync_push` ( + `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键自增id', + `gmt_created` datetime DEFAULT NULL COMMENT '创建时间', + `gmt_modified` datetime DEFAULT NULL COMMENT '修改时间', + PRIMARY KEY (`id`) +) ENGINE=InnoDB DEFAULT CHARSET=utf8; + +-- 表 test-lib.user 结构 +CREATE TABLE IF NOT EXISTS `user` ( + `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键自增id', + `gmt_created` datetime DEFAULT NULL COMMENT '创建时间', + `gmt_modified` datetime DEFAULT NULL COMMENT '修改时间', + `user_name` varchar(256) DEFAULT NULL COMMENT '用户名称', + `nick_name` varchar(64) DEFAULT NULL COMMENT '用户昵称,具有唯一性', + `email` varchar(64) NOT NULL COMMENT '用户邮箱', + `avatar_url` varchar(512) DEFAULT NULL COMMENT '用户头像地址', + `role` enum('ADMIN','SENIOR','JUNIOR','COMMON') NOT NULL DEFAULT 'COMMON', + PRIMARY KEY (`id`), + UNIQUE KEY `nick_name` (`nick_name`), + KEY `ix_user_user_name` (`user_name`) +) ENGINE=InnoDB AUTO_INCREMENT=17 DEFAULT CHARSET=utf8; + +-- 表 test-lib.user_open_source 结构 +CREATE TABLE IF NOT EXISTS `user_open_source` ( + `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键自增id', + `gmt_created` datetime DEFAULT NULL COMMENT '创建时间', + `gmt_modified` datetime DEFAULT NULL COMMENT '修改时间', + `user_name` varchar(256) DEFAULT NULL COMMENT '用户名称', + `nick_name` varchar(64) NOT NULL COMMENT '用户昵称,具有唯一性', + `email` varchar(64) NOT NULL COMMENT '用户邮箱', + `password` varchar(64) NOT NULL COMMENT '用户密码,前端对密码md5加密后的值', + `avatar_url` varchar(512) DEFAULT NULL COMMENT '用户头像地址', + `role` enum('ADMIN','SENIOR','JUNIOR','COMMON') NOT NULL DEFAULT 'COMMON', + `token` varchar(256) NOT NULL COMMENT 'api访问凭证', + PRIMARY KEY (`id`), + UNIQUE KEY `nick_name` (`nick_name`), + UNIQUE KEY `email` (`email`), + KEY `ix_user_open_source_token` (`token`(255)) +) ENGINE=InnoDB AUTO_INCREMENT=15 DEFAULT CHARSET=utf8; + +-- 表 test-lib.user_role_op_record 结构 +CREATE TABLE IF NOT EXISTS `user_role_op_record` ( + `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键自增id', + `gmt_created` datetime DEFAULT NULL COMMENT '创建时间', + `gmt_modified` datetime DEFAULT NULL COMMENT '修改时间', + `applicant` varchar(64) NOT NULL COMMENT '申请人name', + `applicant_id` int(11) NOT NULL COMMENT '申请人ID', + `apply_reason` varchar(512) DEFAULT NULL COMMENT '申请理由', + `signer` varchar(64) DEFAULT NULL COMMENT '评审人name', + `has_review` tinyint(1) NOT NULL COMMENT '是否已经审核', + `review_result` enum('INIT','PASS','FAIL') NOT NULL COMMENT '审核结果', + `review_reason` varchar(512) DEFAULT NULL COMMENT '评审意见', + `method` enum('APPROVE','UPGRADE','DOWNGRADE','DELETE') NOT NULL COMMENT '操作方式', + PRIMARY KEY (`id`) +) ENGINE=InnoDB AUTO_INCREMENT=6 DEFAULT CHARSET=utf8; + +/*!40101 SET SQL_MODE=IFNULL(@OLD_SQL_MODE, '') */; +/*!40014 SET FOREIGN_KEY_CHECKS=IF(@OLD_FOREIGN_KEY_CHECKS IS NULL, 1, @OLD_FOREIGN_KEY_CHECKS) */; +/*!40101 SET CHARACTER_SET_CLIENT=@OLD_CHARACTER_SET_CLIENT */; + + +``` +| 值班人员 | +星期一 | +星期二 | +星期三 | +
|---|---|---|---|
| 张三 | +李四 | +王五 | +
+
+
diff --git "a/sig/Anolis\350\277\201\347\247\273SIG/content/\347\224\250\346\210\267\346\214\207\345\215\2272/\347\224\250\346\210\267\350\201\206\345\220\254/test002.md" "b/sig/Anolis\350\277\201\347\247\273SIG/content/\347\224\250\346\210\267\346\214\207\345\215\2272/\347\224\250\346\210\267\350\201\206\345\220\254/test002.md"
new file mode 100644
index 0000000000000000000000000000000000000000..b72908564d0b1c392ec06a1882232260fdbd34ce
--- /dev/null
+++ "b/sig/Anolis\350\277\201\347\247\273SIG/content/\347\224\250\346\210\267\346\214\207\345\215\2272/\347\224\250\346\210\267\350\201\206\345\220\254/test002.md"
@@ -0,0 +1,73 @@
+# 一级标题
+## 二级标题
+### 三级标题
+**粗体文本**
+
+__cuti__
+
+*斜体文本*
+
+_xieti_
+
+下划线
+
+~~删除线~~
+
+上标：Xy
+
+下标：An
+
+> 引用文本
+- 无序列表项1
+ - 第二层
+- 无序列表项2
+* * *
+1. 有序列表项1
+2. 有序列表项2
+---
+[链接文本](https://gitee.com/suli01/community/edit/master/sig/T-One/content/%E7%94%A8%E6%88%B7%E6%8C%87%E5%8D%97/%E7%94%A8%E6%88%B7%E8%81%86%E5%90%AC/test.md)
+
+链接名称
+
+'''python
+def hello_world():
+ print("Hello, world!")
+
+
+| 列1 | 列2 | 列3 |
+| --- | --- | --- |
+| 单元格1 | 单元格2 | 单元格3 |
+| 单元格4 | 单元格5 | 单元格6 |
+
+
+| 左对齐 | 居中对齐 | 右对齐 |
+|:-----|:------:|------:|
+| 文本 | 文本 | 文本 |
+
+| 值班人员 | +星期一 | +星期二 | +星期三 | +
|---|---|---|---|
| 张三 | +李四 | +王五 | +
+
+
diff --git "a/sig/Anolis\350\277\201\347\247\273SIG/content/\347\224\250\346\210\267\346\214\207\345\215\2272/\347\224\250\346\210\267\350\201\206\345\220\254/test003.md" "b/sig/Anolis\350\277\201\347\247\273SIG/content/\347\224\250\346\210\267\346\214\207\345\215\2272/\347\224\250\346\210\267\350\201\206\345\220\254/test003.md"
new file mode 100644
index 0000000000000000000000000000000000000000..41e1c3d0956cd79016fcfc77744fd6175e5a60ca
--- /dev/null
+++ "b/sig/Anolis\350\277\201\347\247\273SIG/content/\347\224\250\346\210\267\346\214\207\345\215\2272/\347\224\250\346\210\267\350\201\206\345\220\254/test003.md"
@@ -0,0 +1,80 @@
+# 一级标题
+## 二级标题
+### 三级标题
+**粗体文本**
+
+__cuti__
+
+*斜体文本*
+
+_xieti_
+
+下划线
+
+~~删除线~~
+
+上标：Xy
+
+下标：An
+
+> 引用文本
+- 无序列表项1
+ - 第二层
+- 无序列表项2
+* * *
+1. 有序列表项1
+2. 有序列表项2
+---
+[链接文本](https://gitee.com/suli01/community/edit/master/sig/T-One/content/%E7%94%A8%E6%88%B7%E6%8C%87%E5%8D%97/%E7%94%A8%E6%88%B7%E8%81%86%E5%90%AC/test.md)
+
+链接名称
+
+'''python
+def hello_world():
+ print("Hello, world!")
+
+
+
+| 列1 | 列2 | 列3 |
+| --- | --- | --- |
+| 单元格1 | 单元格2 | 单元格3 |
+| 单元格4 | 单元格5 | 单元格6 |
+| 左对齐 | 居中对齐 | 右对齐 |
+|:-----|:------:|------:|
+| 文本 | 文本 | 文本 |
+
+| 值班人员 | +星期一 | +星期二 | +星期三 | +
|---|---|---|---|
| 张三 | +李四 | +王五 | +
+
+
diff --git "a/sig/Anolis\350\277\201\347\247\273SIG/content/\347\224\250\346\210\267\346\214\207\345\215\2272/\347\224\250\346\210\267\350\201\206\345\220\254/test004.md" "b/sig/Anolis\350\277\201\347\247\273SIG/content/\347\224\250\346\210\267\346\214\207\345\215\2272/\347\224\250\346\210\267\350\201\206\345\220\254/test004.md"
new file mode 100644
index 0000000000000000000000000000000000000000..8cd3daee888105c0de2a4e97fd250125bad5c010
--- /dev/null
+++ "b/sig/Anolis\350\277\201\347\247\273SIG/content/\347\224\250\346\210\267\346\214\207\345\215\2272/\347\224\250\346\210\267\350\201\206\345\220\254/test004.md"
@@ -0,0 +1,80 @@
+# 一级标题
+## 二级标题
+### 三级标题
+**粗体文本**
+
+__cuti__
+
+*斜体文本*
+
+_xieti_
+
+下划线
+
+~~删除线~~
+
+上标：Xy
+
+下标：An
+
+> 引用文本
+- 无序列表项1
+ - 第二层
+- 无序列表项2
+* * *
+1. 有序列表项1
+2. 有序列表项2
+---
+[链接文本](https://gitee.com/suli01/community/edit/master/sig/T-One/content/%E7%94%A8%E6%88%B7%E6%8C%87%E5%8D%97/%E7%94%A8%E6%88%B7%E8%81%86%E5%90%AC/test.md)
+
+链接名称
+
+'''python
+def hello_world():
+ print("Hello, world!")
+
+
+
+| 列1 | 列2 | 列3 |
+| --- | --- | --- |
+| 单元格1 | 单元格2 | 单元格3 |
+| 单元格4 | 单元格5 | 单元格6 |
+| 左对齐 | 居中对齐 | 右对齐 |
+|:-----|:------:|------:|
+| 文本 | 文本 | 文本 |
+
+| 值班人员 | +星期一 | +星期二 | +星期三 | +
|---|---|---|---|
| 张三 | +李四 | +王五 | +
+
+
diff --git "a/sig/Anolis\350\277\201\347\247\273SIG/content/\347\224\250\346\210\267\346\214\207\345\215\2272/\347\224\250\346\210\267\350\201\206\345\220\254/test005.md" "b/sig/Anolis\350\277\201\347\247\273SIG/content/\347\224\250\346\210\267\346\214\207\345\215\2272/\347\224\250\346\210\267\350\201\206\345\220\254/test005.md"
new file mode 100644
index 0000000000000000000000000000000000000000..ede9631c48e21f0c4e6677d1a5df93bce9fe4ae7
--- /dev/null
+++ "b/sig/Anolis\350\277\201\347\247\273SIG/content/\347\224\250\346\210\267\346\214\207\345\215\2272/\347\224\250\346\210\267\350\201\206\345\220\254/test005.md"
@@ -0,0 +1,12 @@
+HCT密码计算套件的目录结构如下： 阿斯顿法师打发斯蒂芬 44444444444444444444444444444444444444444444444444444 hygon-devkit/
+
+├─ hct
+├──pkg
+│ ├── hct_1.0.0.20230224_rc
+│ ├── hct_1.0.1.20230512_rc
+│ └── hct_1.1.0.20230730_rc
+│
+└── README.md
+* pkg目录：内含各版本hct密码计算套件。
+
+* README.md文件：有关HCT的简单情况。
\ No newline at end of file
diff --git "a/sig/Anolis\350\277\201\347\247\273SIG/content/\347\224\250\346\210\267\346\214\207\345\215\2272/\347\224\250\346\210\267\350\201\206\345\220\254/\346\265\213\350\257\225\345\244\226\351\223\276\345\233\276\347\211\207.md" "b/sig/Anolis\350\277\201\347\247\273SIG/content/\347\224\250\346\210\267\346\214\207\345\215\2272/\347\224\250\346\210\267\350\201\206\345\220\254/\346\265\213\350\257\225\345\244\226\351\223\276\345\233\276\347\211\207.md"
new file mode 100644
index 0000000000000000000000000000000000000000..d0a3a7f08baab2c20bc46fc52570530781997763
--- /dev/null
+++ "b/sig/Anolis\350\277\201\347\247\273SIG/content/\347\224\250\346\210\267\346\214\207\345\215\2272/\347\224\250\346\210\267\350\201\206\345\220\254/\346\265\213\350\257\225\345\244\226\351\223\276\345\233\276\347\211\207.md"
@@ -0,0 +1,2 @@
+# hello
+
\ No newline at end of file
diff --git "a/sig/Anolis\350\277\201\347\247\273SIG/content/\347\224\250\346\210\267\346\214\207\345\215\2272/\347\224\250\346\210\267\350\201\206\345\220\254/\350\201\206\345\220\254.md" "b/sig/Anolis\350\277\201\347\247\273SIG/content/\347\224\250\346\210\267\346\214\207\345\215\2272/\347\224\250\346\210\267\350\201\206\345\220\254/\350\201\206\345\220\254.md"
new file mode 100644
index 0000000000000000000000000000000000000000..e5d110a57b01266616a91010b0b0032dcff2c5c1
--- /dev/null
+++ "b/sig/Anolis\350\277\201\347\247\273SIG/content/\347\224\250\346\210\267\346\214\207\345\215\2272/\347\224\250\346\210\267\350\201\206\345\220\254/\350\201\206\345\220\254.md"
@@ -0,0 +1,2 @@
+# hello, 欢迎来到聆听 .md
+## 阿斯顿发射点
\ No newline at end of file
diff --git "a/sig/Anolis\350\277\201\347\247\273SIG/content/\347\244\276\345\214\272\347\240\224\345\217\221\351\241\271\347\233\256/Release_Notes/ANCK_4.19_ReleaseNote.md" "b/sig/Anolis\350\277\201\347\247\273SIG/content/\347\244\276\345\214\272\347\240\224\345\217\221\351\241\271\347\233\256/Release_Notes/ANCK_4.19_ReleaseNote.md"
new file mode 100644
index 0000000000000000000000000000000000000000..e7a1110583eb1bcdccd485388c302ca05fd330b6
--- /dev/null
+++ "b/sig/Anolis\350\277\201\347\247\273SIG/content/\347\244\276\345\214\272\347\240\224\345\217\221\351\241\271\347\233\256/Release_Notes/ANCK_4.19_ReleaseNote.md"
@@ -0,0 +1,130 @@
+# 4.19.91-26.y
+
+
+## 4.19.91-26
+
+
+发布时间：2022-05-24
+
+
+发布链接：
+
+
+* make
insmod pgprot_drv.ko pgprot=4
../memattr| +| ras-tolerance | No | Arm | This driver allows to overwrite error severity to a lower level at runtime, recoverable by default. It is useful for test. | cd ras-tolerance
make
insmod ras_tolerance.ko| + +#### Install + +On servers running Anolis OS, you can install ras-tools through `yum`. On other OSes, you could build it from scratch. + +``` bash +yum install ras-tools +``` + +#### Memory Failure Recovery Validation + +The `einj_mem_uc` tool allocates pages, injects an error and then triggers it in one of a variety of ways. It intends to do a coverage test for testing the Linux RAS related features, including CPU/Memory error containment and recovery. + +##### AR Validation + +###### User Space AR-data Recovery + +In the case of an AR-data abort event e.g. `single`, `doube`,`split`,`hugetlb`,etc, the kernel will attempt to hard-offline the page, by poisoning the page and killing accessing process. For example, `single` case, it injects an uncorrected error and triggers the error by reading a byte. + +```bash +# einj_mem_uc single +0: single vaddr = 0xffff857a3400 paddr = 8e6157400 +injecting ... +triggering ... +signal 7 code 4 addr 0xffff857a3400 +page not present +Test passed +``` + +`einj_mem_uc` will print the received signal and its code, in the above case, + +- signal 7: SIGBUS +- code 4: BUS_MCEERR_AR 4 + +The dmesg log: + +```bash +[ 1785.908893] EDAC MC0: 1 UE multi-symbol chipkill ECC on unknown memory (node:0 card:0 module:0 rank:0 bank_group:1 bank_address:2 device:0 row:920 column:896 chip_id:0 page:0x8e6157 offset:0x400 grain:1 - APEI location: node:0 card:0 module:0 rank:0 bank_group:1 bank_address:2 device:0 row:920 column:896 chip_id:0 status(0x0000000000000400): Storage error in DRAM memory) +[ 1785.908900] {1}[Hardware Error]: Hardware error from APEI Generic Hardware Error Source: 2 +[ 1785.919531] {1}[Hardware Error]: event severity: recoverable +[ 1785.925176] {1}[Hardware Error]: precise tstamp: 2023-01-17 18:05:09 +[ 1785.931600] {1}[Hardware Error]: Error 0, type: recoverable +[ 1785.937244] {1}[Hardware Error]: section_type: memory error +[ 1785.942975] {1}[Hardware Error]: error_status: Storage error in DRAM memory (0x0000000000000400) +[ 1785.952004] {1}[Hardware Error]: physical_address: 0x00000008e6157400 +[ 1785.958603] {1}[Hardware Error]: node:0 card:0 module:0 rank:0 bank_group:1 bank_address:2 device:0 row:920 column:896 chip_id:0 +[ 1785.970409] {1}[Hardware Error]: error_type: 5, multi-symbol chipkill ECC +[ 1785.977355] {1}[Hardware Error]: type: DDR (0x50), common_reg_nr:1 +[ 1785.983606] {1}[Hardware Error]: Synchronous Exception taken in EL0 +[ 1785.989944] {1}[Hardware Error]: ESR: 0x92000410, ELR: 0x403abc, FAR: 0xfa00a88, SCR: 0x403073d, SCTLR: 0x30cd183f, LR: 0x403abc +[ 1786.001578] {1}[Hardware Error]: ECCERRCNT: 0x10000, ECCSTAT: 0x0, ADVECCSTAT: 0x8000002, ECCSYMBOL: 0x170000, ECCERRCNTSTAT: 0x0, ECCERRCNT0: 0x0, ECCERRCNT1: 0x0, ECCCADDR0: 0x0, ECCCADDR1: 0x0, ECCCDATA0: 0x0, ECCCDATA1: 0x0, ECCUADDR0: 0x398, ECCUADDR1: 0x1020380, ECCUDATA0: 0x1ff, ECCUDATA1: 0x0 +[ 1786.036640] Memory failure: 0x8e6157: recovery action for dirty LRU page: Recovered + +``` + +###### User Space AR-instruction Recovery + +In the case of an AR-instruction abort event, e.g. `instr`, it injects an uncorrected error and triggers the error by reading a byte. The kernel will attempt to hard-offline the page. It unmaps the corrupted page, reloads the 4KB page containing the instruction to a new physical page and resumes normal operation. + +```bash +# einj_mem_uc instr +0: instr vaddr = 0x403000 paddr = 8bba93000 +injecting ... +triggering ... +Test passed +``` + +The dmesg log: + +```bash +[ 1945.804589] EDAC MC0: 1 UE multi-symbol chipkill ECC on unknown memory (node:0 card:7 module:0 rank:1 bank_group:1 bank_address:3 device:0 row:527 column:640 chip_id:0 page:0x40883e65 offset:0x0 grain:1 - APEI location: node:0 card:7 module:0 rank:1 bank_group:1 bank_address:3 device:0 row:527 column:640 chip_id:0 status(0x0000000000000400): Storage error in DRAM memory) +[ 1945.804596] {3}[Hardware Error]: Hardware error from APEI Generic Hardware Error Source: 2 +[ 1945.815209] {3}[Hardware Error]: event severity: recoverable +[ 1945.820854] {3}[Hardware Error]: precise tstamp: 2023-01-17 18:07:49 +[ 1945.827280] {3}[Hardware Error]: Error 0, type: recoverable +[ 1945.832924] {3}[Hardware Error]: section_type: memory error +[ 1945.838654] {3}[Hardware Error]: error_status: Storage error in DRAM memory (0x0000000000000400) +[ 1945.847683] {3}[Hardware Error]: physical_address: 0x0000040883e65000 +[ 1945.854283] {3}[Hardware Error]: node:0 card:7 module:0 rank:1 bank_group:1 bank_address:3 device:0 row:527 column:640 chip_id:0 +[ 1945.866089] {3}[Hardware Error]: error_type: 5, multi-symbol chipkill ECC +[ 1945.873035] {3}[Hardware Error]: type: DDR (0x50), common_reg_nr:1 +[ 1945.879286] {3}[Hardware Error]: Synchronous Exception taken in EL0 +[ 1945.885625] {3}[Hardware Error]: ESR: 0x82000010, ELR: 0x403000, FAR: 0x403000, SCR: 0x403073d, SCTLR: 0x30cd183f, LR: 0x403f94 +[ 1945.906459] {3}[Hardware Error]: ECCERRCNT: 0x10000, ECCSTAT: 0x0, ADVECCSTAT: 0x8000002, ECCSYMBOL: 0x140000, ECCERRCNTSTAT: 0x0, ECCERRCNT0: 0x0, ECCERRCNT1: 0x0, ECCCADDR0: 0x0, ECCCADDR1: 0x0, ECCCDATA0: 0x0, ECCCDATA1: 0x0, ECCUADDR0: 0x100020f, ECCUADDR1: 0x1030280, ECCUDATA0: 0x1ff, ECCUDATA1: 0x0 +[ 1945.934071] Memory failure: 0x40883e65: corrupted page was clean: dropped without side effects +[ 1945.934084] Memory failure: 0x40883e65: recovery action for clean LRU page: Recovered +``` + +###### Kernel Space AR Recovery + +Kernel Space AR Recovery is only supported on X86 platform and we are still working on it on Arm64 platform. The recovery is evaluated on X86 icelake processor. + +First, inject an uncorrected error and trigger it by writing a buffer to a file. Kernel will copy data from user space and then write to disk. + +```bash +# einj_mem_uc copyin -f +0: copyin vaddr = 0x7f8f873e2400 paddr = 2869c1400 +injecting ... +triggering ... +einj_mem_uc: couldn't write temp file (errno=14) +Big surprise ... still running. Thought that would be fatal +Saw local machine check +Test passed +``` + +As we can see, the process is still running and the return errno for the write(2) is EFAULT(14). + +The dmesg log: + +```bash +SetMemoryDeviceStatus UCE error. Data = 00 4C A5 01 02 00 06 01 05 00 00 00 00 00 Status = Success +[15322.535921] mce: Kernel accessed poison in user space at 2869c1400 +[15322.536023] {2}[Hardware Error]: Hardware error from APEI Generic Hardware Error Source: 0 +[15322.542117] Memory failure: 0x2869c1: recovery action for dirty LRU page: Recovered +[15322.550382] {2}[Hardware Error]: event severity: recoverable +[15322.550385] {2}[Hardware Error]: Error 0, type: recoverable +[15322.558042] Memory failure: 0x2869c1: already hardware poisoned +[15322.563710] {2}[Hardware Error]: fru_text: Card02, ChnF, DIMM0 +[15322.563712] {2}[Hardware Error]: section_type: memory error +[15322.586981] {2}[Hardware Error]: error_status: Storage error in DRAM memory (0x0000000000000400) +[15322.596027] {2}[Hardware Error]: physical_address: 0x00000002869c1400 +[15322.602650] {2}[Hardware Error]: node:1 card:5 module:0 rank:0 bank:13 device:0 row:2075 column:8 +[15322.611783] {2}[Hardware Error]: error_type: 3, multi-bit ECC +[15322.617710] {2}[Hardware Error]: DIMM location: not present. DMI handle: 0x0000 +[15322.625304] Memory failure: 0x2869c1: already hardware poisoned +[15322.631827] EDAC MC6: 1 UE memory read error on CPU_SrcID#1_MC#2_Chan#1_DIMM#0 (channel:1 slot:0 page:0x2869c1 offset:0x400 grain:32 - err_code:0x00a0:0x0091 SystemAddress:0x2869c1400 ProcessorSocketId:0x1 MemoryControllerId:0x2 ChannelAddress:0x2069c000 ChannelId:0x1 RankAddress:0x1034e000 PhysicalRankId:0x0 DimmSlotId:0x0 Row:0x81b Column:0x8 Bank:0x1 BankGroup:0x3 ChipSelect:0x0 ChipId:0x0) +[15322.667403] EDAC MC6: 1 UE memory read error on CPU_SrcID#1_MC#2_Chan#1_DIMM#0 (channel:1 slot:0 page:0x2869c1 offset:0x400 grain:32 - err_code:0x0000:0x009f SystemAddress:0x2869c1400 ProcessorSocketId:0x1 MemoryControllerId:0x2 ChannelAddress:0x2069c000 ChannelId:0x1 RankAddress:0x1034e000 PhysicalRankId:0x0 DimmSlotId:0x0 Row:0x81b Column:0x8 Bank:0x1 BankGroup:0x3 ChipSelect:0x0 ChipId:0x0) +``` + +futex(2) is another system call in which kernel copies data from user space. Inject an uncorrected error and trigger it by issuing `FUTEX_WAIT` operation. + +```bash +# einj_mem_uc futex -f +0: futex vaddr = 0x7f8a1da83400 paddr = 25751d400 +injecting ... +triggering ... +futex returned with errno=14 +Big surprise ... still running. Thought that would be fatal +Unusual number of MCEs seen: 2 +Test passed +``` + +There are many retries in futex(2) mechanism, so it is possible to see many MCEs. + +The dmesg log: + +```bash +SetMemoryDeviceStatus UCE error. Data = 00 4C A5 01 02 00 06 01 05 00 00 00 00 00 Status = Success +[15521.242381] mce: Kernel accessed poison in user space at 25751d400 +[15521.242437] {4}[Hardware Error]: Hardware error from APEI Generic Hardware Error Source: 0 +[15521.248581] Memory failure: 0x25751d: recovery action for dirty LRU page: Recovered +[15521.256842] {4}[Hardware Error]: event severity: recoverable +[15521.256845] {4}[Hardware Error]: Error 0, type: recoverable +[15521.256847] {4}[Hardware Error]: fru_text: Card02, ChnF, DIMM0 +[15521.264506] Memory failure: 0x25751d: already hardware poisoned +[15521.270172] {4}[Hardware Error]: section_type: memory error +[15521.270173] {4}[Hardware Error]: error_status: Storage error in DRAM memory (0x0000000000000400) +[15521.270174] {4}[Hardware Error]: physical_address: 0x000000025751d400 +[15521.309103] {4}[Hardware Error]: node:1 card:5 module:0 rank:0 bank:4 device:0 row:1882 column:896 +[15521.318322] {4}[Hardware Error]: error_type: 3, multi-bit ECC +[15521.324252] {4}[Hardware Error]: DIMM location: not present. DMI handle: 0x0000 +[15521.331824] {4}[Hardware Error]: Error 1, type: recoverable +[15521.337484] {4}[Hardware Error]: section_type: memory error +[15521.343240] {4}[Hardware Error]: error_status: Storage error in DRAM memory (0x0000000000000400) +[15521.352286] {4}[Hardware Error]: physical_address: 0x000000025751d400 +[15521.358910] {4}[Hardware Error]: node:1 +[15521.363017] {4}[Hardware Error]: error_type: 3, multi-bit ECC +[15521.369040] Memory failure: 0x25751d: already hardware poisoned +[15521.374974] Memory failure: 0x25751d: already hardware poisoned +[15521.381515] EDAC MC6: 1 UE memory read error on CPU_SrcID#1_MC#2_Chan#1_DIMM#0 (channel:1 slot:0 page:0x25751d offset:0x400 grain:32 - err_code:0x00a0:0x0091 SystemAddress:0x25751d400 ProcessorSocketId:0x1 MemoryControllerId:0x2 ChannelAddress:0x1d751c00 ChannelId:0x1 RankAddress:0xeba9c00 PhysicalRankId:0x0 DimmSlotId:0x0 Row:0x75a Column:0x380 Bank:0x0 BankGroup:0x1 ChipSelect:0x0 ChipId:0x0) +[15521.417060] EDAC MC6: 1 UE memory read error on CPU_SrcID#1_MC#2_Chan#1_DIMM#0 (channel:1 slot:0 page:0x25751d offset:0x400 grain:32 - err_code:0x0000:0x009f SystemAddress:0x25751d400 ProcessorSocketId:0x1 MemoryControllerId:0x2 ChannelAddress:0x1d751c00 ChannelId:0x1 RankAddress:0xeba9c00 PhysicalRankId:0x0 DimmSlotId:0x0 Row:0x75a Column:0x380 Bank:0x0 BankGroup:0x1 ChipSelect:0x0 ChipId:0x0) +[15521.452740] EDAC MC6: 1 UE memory read error on CPU_SrcID#1_MC#2_Chan#1_DIMM#0 (channel:1 slot:0 page:0x25751d offset:0x400 grain:32 - err_code:0x0000:0x009f SystemAddress:0x25751d400 ProcessorSocketId:0x1 MemoryControllerId:0x2 ChannelAddress:0x1d751c00 ChannelId:0x1 RankAddress:0xeba9c00 PhysicalRankId:0x0 DimmSlotId:0x0 Row:0x75a Column:0x380 Bank:0x0 BankGroup:0x1 ChipSelect:0x0 ChipId:0x0) +``` + +##### AO Validation + +###### AO Patrol Recovery + +In the case of an AO event e.g. `patrol`, the kernel will attempt to hard-offline the page, by just poisoning and unmapping the page. Inject and trigger patrol error. Note, in this section, the HWPoison-aware strategy is default late kill. + +```bash +# einj_mem_uc patrol +0: patrol vaddr = 0xffff9d523400 paddr = 400a2575400 +injecting ... +triggering ... +page not present +Test passed +``` + +The dmesg log: + +```bash +[ 2026.290450] EDAC MC0: 1 UE scrub uncorrected error on unknown memory (node:0 card:6 module:0 rank:0 bank_group:2 bank_address:3 device:0 row:137 column:640 chip_id:0 page:0x400a2575 offset:0x400 grain:1 - APEI location: node:0 card:6 module:0 rank:0 bank_group:2 bank_address:3 device:0 row:137 column:640 chip_id:0 status(0x0000000000000400): Storage error in DRAM memory) +[ 2026.290460] {4}[Hardware Error]: Hardware error from APEI Generic Hardware Error Source: 2 +[ 2026.301258] {4}[Hardware Error]: event severity: recoverable +[ 2026.306903] {4}[Hardware Error]: precise tstamp: 2023-01-17 18:09:10 +[ 2026.313328] {4}[Hardware Error]: Error 0, type: recoverable +[ 2026.318972] {4}[Hardware Error]: section_type: memory error +[ 2026.324703] {4}[Hardware Error]: error_status: Storage error in DRAM memory (0x0000000000000400) +[ 2026.333732] {4}[Hardware Error]: physical_address: 0x00000400a2575400 +[ 2026.340331] {4}[Hardware Error]: node:0 card:6 module:0 rank:0 bank_group:2 bank_address:3 device:0 row:137 column:640 chip_id:0 +[ 2026.352138] {4}[Hardware Error]: error_type: 14, scrub uncorrected error +[ 2026.358998] {4}[Hardware Error]: type: DDR (0x50), common_reg_nr:1 +[ 2026.365249] {4}[Hardware Error]: Interrupt: 843 +[ 2026.369852] {4}[Hardware Error]: ECCERRCNT: 0x40000, ECCSTAT: 0x0, ADVECCSTAT: 0x88000002, ECCSYMBOL: 0xec0000, ECCERRCNTSTAT: 0x0, ECCERRCNT0: 0x0, ECCERRCNT1: 0x0, ECCCADDR0: 0x0, ECCCADDR1: 0x0, ECCCDATA0: 0x0, ECCCDATA1: 0x0, ECCUADDR0: 0x89, ECCUADDR1: 0x2030280, ECCUDATA0: 0x1ff, ECCUDATA1: 0x0 +[ 2026.397264] Memory failure: 0x400a2575: recovery action for dirty LRU page: Recovered +``` + +###### AO Prefetch Recovery + +First, inject an uncorrected error and trigger it by explicitly performing a `prfm`. The platform will signal an interrupt. + +```bash +#einj_mem_uc prefetch +0: prefetch vaddr = 0xffffbe03f400 paddr = 8c17eb400 +injecting ... +triggering ... +page not present +Test passed +``` + +The dmesg log: + +```bash +[ 7616.802823] {1}[Hardware Error]: Hardware error from APEI Generic Hardware Error Source: 2 +[ 7616.813922] {1}[Hardware Error]: event severity: recoverable +[ 7616.819566] {1}[Hardware Error]: Error 0, type: recoverable +[ 7616.825210] {1}[Hardware Error]: section_type: memory error +[ 7616.830940] {1}[Hardware Error]: error_status: 0x0000000000000400 +[ 7616.837191] {1}[Hardware Error]: physical_address: 0x00000008c17eb400 +[ 7616.843791] {1}[Hardware Error]: node: 0 card: 0 module: 0 rank: 1 bank_group: 3 bank_address: 0 device: 0 row: 773 column: 1408 +[ 7616.855597] {1}[Hardware Error]: error_type: 5, multi-symbol chipkill ECC +[ 7616.862543] {1}[Hardware Error]: type: DDR (0x50), ras_count:1 +[ 7616.868447] {1}[Hardware Error]: sub_type: 0x0 +[ 7616.872962] {1}[Hardware Error]: fr: 0x1000200000026, ctrl: 0x0, status: 0x0, addr: 0x0 +[ 7616.881036] {1}[Hardware Error]: misc0: 0x0, misc1: 0x0, misc2: 0x0, misc3: 0x200000000000100 +[ 7616.889888] Memory failure: 0x8c17eb: recovery action for dirty LRU page: Recovered +``` + +###### AO Store Recovery + +First, inject an uncorrected error and trigger it by writing a byte. The write size is less than 64 bits and the platform will signal a SError. + +```bash +# einj_mem_uc strbyte +0: strbyte vaddr = 0xffffa3651400 paddr = 400afd01400 +injecting ... +triggering ... +page not present +Test passed +``` + +The dmesg log: + +```bash +[ 2378.241939] EDAC MC0: 1 UE multi-symbol chipkill ECC on unknown memory (node:0 card:5 module:0 rank:0 bank_group:2 bank_address:1 device:0 row:191 column:128 chip_id:0 page:0x400afd01 offset:0x400 grain:1 - APEI location: node:0 card:5 module:0 rank:0 bank_group:2 bank_address:1 device:0 row:191 column:128 chip_id:0 status(0x0000000000000400): Storage error in DRAM memory) +[ 2378.241945] {5}[Hardware Error]: Hardware error from APEI Generic Hardware Error Source: 2 +[ 2378.252573] {5}[Hardware Error]: event severity: recoverable +[ 2378.258217] {5}[Hardware Error]: precise tstamp: 2023-01-17 18:15:02 +[ 2378.264642] {5}[Hardware Error]: Error 0, type: recoverable +[ 2378.270286] {5}[Hardware Error]: section_type: memory error +[ 2378.276017] {5}[Hardware Error]: error_status: Storage error in DRAM memory (0x0000000000000400) +[ 2378.285045] {5}[Hardware Error]: physical_address: 0x00000400afd01400 +[ 2378.291644] {5}[Hardware Error]: node:0 card:5 module:0 rank:0 bank_group:2 bank_address:1 device:0 row:191 column:128 chip_id:0 +[ 2378.303451] {5}[Hardware Error]: error_type: 5, multi-symbol chipkill ECC +[ 2378.310398] {5}[Hardware Error]: type: DDR (0x50), common_reg_nr:1 +[ 2378.316649] {5}[Hardware Error]: SError +[ 2378.320558] {5}[Hardware Error]: ECCERRCNT: 0x10000, ECCSTAT: 0x0, ADVECCSTAT: 0x8000002, ECCSYMBOL: 0x6f0000, ECCERRCNTSTAT: 0x0, ECCERRCNT0: 0x0, ECCERRCNT1: 0x0, ECCCADDR0: 0x0, ECCCADDR1: 0x0, ECCCDATA0: 0x0, ECCCDATA1: 0x0, ECCUADDR0: 0xbf, ECCUADDR1: 0x2010080, ECCUDATA0: 0x1ff, ECCUDATA1: 0x0 +[ 2378.360399] Memory failure: 0x400afd01: recovery action for dirty LRU page: Recovered +``` + +In contrast, inject an uncorrected error and trigger it by writing a quad word. The write size is 64 bits and the platform will not signal SErrors. + +```bash +# einj_mem_uc strqword +0: strqword vaddr = 0xffff991b5400 paddr = 92b73c400 +injecting ... +triggering ... +Manually take page offline +Test passed +``` + +The dmesg log: + +```bash +[270286.564242] Memory failure: 0x92b73c: recovery action for dirty LRU page: Recovered +``` + +##### QEMU Validation + +First, start a VM with a stdio monitor which allows giving complex commands to the QEMU emulator. + +```bash +qemu-system-aarch64 -enable-kvm \ + -cpu host \ + -M virt,gic-version=3 \ + -m 8G \ + -d guest_errors \ + -rtc base=localtime,clock=host \ + -smp cores=2,threads=2,sockets=2 \ + -object memory-backend-ram,id=mem0,size=4G \ + -object memory-backend-ram,id=mem1,size=4G \ + -numa node,memdev=mem0,cpus=0-3,nodeid=0 \ + -numa node,memdev=mem1,cpus=4-7,nodeid=1 \ + -bios /usr/share/AAVMF/AAVMF_CODE.fd \ + -drive driver=qcow2,media=disk,cache=writeback,if=virtio,id=alinu1_rootfs,file=/media/nvme/shawn.xs/qemu/aliyun_3_arm64_20G_alpha_alibase_20210425.qcow2 \ + -netdev user,id=n1,hostfwd=tcp::5555-:22 \ + -serial telnet:localhost:4321,server,nowait \ + -device virtio-net-pci,netdev=n1 \ + -monitor stdio +QEMU 7.2.0 monitor - type 'help' for more information +(qemu) VNC server running on 127.0.0.1:5900 +``` + +Login guest and install ras-tools, then run `einj_mem_uc` to allocate a page in userspace, dumps the virtual and physical address of the page. The `-j` is to skip error injection and `-k` is to wait for a kick. + +``` bash +$ einj_mem_uc single -j -k +0: single vaddr = 0xffffb2f27000 paddr = 154aba000 +``` + +Run command `gpa2hpa` in QEMU monitor and it will print the host physical address at which the guest’s physical address addr is mapped. + +``` bash +(qemu) gpa2hpa 0x151f21400 +Host physical address for 0x154aba000 (mem1) is 0x92b3c5000 +``` + +Inject an uncorrected error via the APEI interface to the finally translated host physical address on host. + +``` bash +echo 0x92b3c5000 > /sys/kernel/debug/apei/einj/param1 +echo 0xfffffffffffff000 > /sys/kernel/debug/apei/einj/param2 +echo 0x0 > /sys/kernel/debug/apei/einj/flags +echo 0x10 > /sys/kernel/debug/apei/einj/error_type +echo 1 > /sys/kernel/debug/apei/einj/notrigger +echo 1 > /sys/kernel/debug/apei/einj/error_inject +``` + +Then kick `einj_mem_uc` to trigger the error by writing "trigger_start". In this example, the kick is done on host. + +``` bash +#ssh -p 5555 root@localhost "echo trigger > ~/trigger_start" +``` + +We will observe that the QEMU process exit. + +``` bash +(qemu) qemu-system-aarch64: Hardware memory error! +``` + +The dmesg log: + +``` bash +[ 2705.654424] EDAC MC0: 1 UE multi-symbol chipkill ECC on unknown memory (node:0 card:0 module:0 rank:1 bank_group:4 bank_address:2 device:0 row:1196 column:640 chip_id:0 page:0x92b3c5 offset:0x0 grain:1 - APEI location: node:0 card:0 module:0 rank:1 bank_group:4 bank_address:2 device:0 row:1196 column:640 chip_id:0 status(0x0000000000000400): Storage error in DRAM memory) +[ 2705.654432] {6}[Hardware Error]: Hardware error from APEI Generic Hardware Error Source: 2 +[ 2705.665047] {6}[Hardware Error]: event severity: recoverable +[ 2705.670692] {6}[Hardware Error]: precise tstamp: 2023-01-17 18:20:29 +[ 2705.677118] {6}[Hardware Error]: Error 0, type: recoverable +[ 2705.682762] {6}[Hardware Error]: section_type: memory error +[ 2705.688492] {6}[Hardware Error]: error_status: Storage error in DRAM memory (0x0000000000000400) +[ 2705.697521] {6}[Hardware Error]: physical_address: 0x000000092b3c5000 +[ 2705.704121] {6}[Hardware Error]: node:0 card:0 module:0 rank:1 bank_group:4 bank_address:2 device:0 row:1196 column:640 chip_id:0 +[ 2705.716014] {6}[Hardware Error]: error_type: 5, multi-symbol chipkill ECC +[ 2705.722960] {6}[Hardware Error]: type: DDR (0x50), common_reg_nr:1 +[ 2705.729212] {6}[Hardware Error]: Synchronous Exception taken in EL0 +[ 2705.735551] {6}[Hardware Error]: ESR: 0x92000410, ELR: 0x401880, FAR: 0xffffb2e8c1d8, SCR: 0x403073d, SCTLR: 0x30cd183f, LR: 0x401840 +[ 2705.747619] {6}[Hardware Error]: ECCERRCNT: 0x10000, ECCSTAT: 0x0, ADVECCSTAT: 0x8000002, ECCSYMBOL: 0x60000, ECCERRCNTSTAT: 0x0, ECCERRCNT0: 0x0, ECCERRCNT1: 0x0, ECCCADDR0: 0x0, ECCCADDR1: 0x0, ECCCDATA0: 0x0, ECCCDATA1: 0x0, ECCUADDR0: 0x10004ac, ECCUADDR1: 0x4020280, ECCUDATA0: 0x1ff, ECCUDATA1: 0x0 +[ 2705.887179] EDAC MC0: 1 UE multi-symbol chipkill ECC on unknown memory (node:0 card:0 module:0 rank:1 bank_group:4 bank_address:2 device:0 row:1196 column:640 chip_id:0 page:0x92b3c5 offset:0x0 grain:1 - APEI location: node:0 card:0 module:0 rank:1 bank_group:4 bank_address:2 device:0 row:1196 column:640 chip_id:0 status(0x0000000000000400): Storage error in DRAM memory) +[ 2705.887181] {7}[Hardware Error]: Hardware error from APEI Generic Hardware Error Source: 2 +[ 2705.897824] {7}[Hardware Error]: event severity: recoverable +[ 2705.903468] {7}[Hardware Error]: precise tstamp: 2023-01-17 18:20:29 +[ 2705.909893] {7}[Hardware Error]: Error 0, type: recoverable +[ 2705.915537] {7}[Hardware Error]: section_type: memory error +[ 2705.921267] {7}[Hardware Error]: error_status: Storage error in DRAM memory (0x0000000000000400) +[ 2705.930296] {7}[Hardware Error]: physical_address: 0x000000092b3c5000 +[ 2705.936895] {7}[Hardware Error]: node:0 card:0 module:0 rank:1 bank_group:4 bank_address:2 device:0 row:1196 column:640 chip_id:0 +[ 2705.948790] {7}[Hardware Error]: error_type: 5, multi-symbol chipkill ECC +[ 2705.955736] {7}[Hardware Error]: type: DDR (0x50), common_reg_nr:1 +[ 2705.961988] {7}[Hardware Error]: Synchronous Exception taken in EL0 +[ 2705.968326] {7}[Hardware Error]: ESR: 0x92000410, ELR: 0x401880, FAR: 0xffffb2e8c1d8, SCR: 0x403073d, SCTLR: 0x30cd183f, LR: 0x401840 +[ 2705.980394] {7}[Hardware Error]: ECCERRCNT: 0x0, ECCSTAT: 0x0, ADVECCSTAT: 0x0, ECCSYMBOL: 0x0, ECCERRCNTSTAT: 0x0, ECCERRCNT0: 0x0, ECCERRCNT1: 0x0, ECCCADDR0: 0x0, ECCCADDR1: 0x0, ECCCDATA0: 0x0, ECCCDATA1: 0x0, ECCUADDR0: 0x10004ac, ECCUADDR1: 0x4020280, ECCUDATA0: 0x0, ECCUDATA1: 0x0 +[ 2706.006235] Memory failure: 0x92b3c5: Sending SIGBUS to qemu-system-aar:32293 due to hardware memory corruption +[ 2706.078549] Memory failure: 0x92b3c5: recovery action for dirty LRU page: Recovered +[ 2706.092539] Memory failure: 0x92b3c5: already hardware poisoned +[ 2706.118501] EDAC MC0: 1 UE multi-symbol chipkill ECC on unknown memory (node:0 card:0 module:0 rank:0 bank_group:1 bank_address:2 device:0 row:920 column:896 chip_id:0 page:0x0 offset:0x0 grain:1 - APEI location: node:0 card:0 module:0 rank:0 bank_group:1 bank_address:2 device:0 row:920 column:896 chip_id:0 status(0x0000000000000400): Storage error in DRAM memory) +``` + +Note, QEMU registers SIGBUS handler and sets `PR_MCE_KILL_EARLY` by `prctl`. When an AO error occurs, e.g. detected by scrubber, kernel will also send SIGBUS but with sicode `BUS_MCEERR_AO 5`. + +##### HWPoison-aware Strategy + +First, check the strategy on your system. + +```bash +#sysctl vm.memory_failure_early_kill +vm.memory_failure_early_kill = 0 +``` + +Change to early kill mode: + +```bash +#sysctl -w vm.memory_failure_early_kill=1 +vm.memory_failure_early_kill = 1 +``` + +Then inject a `patrol` error to see the kernel behavior. + +```bash +#./einj_mem_uc patrol +0: patrol vaddr = 0xffffbe4b8400 paddr = 901656400 +injecting ... +triggering ... +signal 7 code 5 addr 0xffffbe4b8000 +Unexpected SIGBUS +page not present +Test passed +``` + +As we expected, the kernel sends SIGBUS to kill the process even though it does not access the poison data. The `code 5` here means `BUS_MCEERR_AO 5`. + +#### Memory Predictive Failure Analysis Validation + +First of all, you'll need to install **rasdeamon**, it's packaged for most Linux distributions: + +```bash +yum install rasdaemon +``` + +Then we'll setup **rasdaemon** to launch at startup and to record events to an on-disk sqlite database. + +```bash +# systemctl enable rasdaemon +# systemctl start rasdaemon +``` + +Here, we manually change the `PAGE_CE_THRESHOLD="5"` in config file `/etc/sysconfig/rasdaemon` so that we can inject and exceed a page error threshold more easily. Note, run-time configuration is unsupported, service restart is needed. + +```bash +# systemctl restart rasdaemon +``` + +Run `victim` with `-p` option to help test PFA function. The `victim` allocates a page in userspace, dumps the virtual and physical address of the page, and checks the physical address in a loop while. Then inject to the physical address 5 times and it will trigger soft action in which kernel soft-offline the old page, by moving the contents to a new page. + +```bash +#victim -d -p +physical address of (0xffffa5a66000) = 0x967cf1000 +Page was replaced. New physical address = 0x8bce3e000 +``` + +## Acknowledgment + +Thanks to the developers who contributed to the Linux and Anolis communities. + +## Reference + +1. [https://www.intel.com/content/www/us/en/developer/articles/technical/new-reliability-availability-and-serviceability-ras-features-in-the-intel-xeon-processor.html](https://www.intel.com/content/www/us/en/developer/articles/technical/new-reliability-availability-and-serviceability-ras-features-in-the-intel-xeon-processor.html) +2. Reliability, Availability and Serviceability (RAS) Integration and Validation Guide for the Intel® Xeon® Processor E7- v3 Family: [https://www.intel.com/content/dam/develop/external/us/en/documents/emca2-integration-validation-guide-556978.pdf](https://www.intel.com/content/dam/develop/external/us/en/documents/emca2-integration-validation-guide-556978.pdf) +3. [https://docs.kernel.org/admin-guide/ras.html](https://docs.kernel.org/admin-guide/ras.html) +4. [https://static.linaro.org/connect/sfo17/Presentations/SFO17-203%20-%20Reliability%2C%20Availability%2C%20and%20Serviceability%20%28RAS%29%20on%20ARM64%20status.pdf](https://static.linaro.org/connect/sfo17/Presentations/SFO17-203%20-%20Reliability%2C%20Availability%2C%20and%20Serviceability%20%28RAS%29%20on%20ARM64%20status.pdf) +5. Intel® 64 and IA-32 Architectures Software Developer’s Manual +6. [https://developer.ibm.com/articles/l-kernel-memory-access/](https://developer.ibm.com/articles/l-kernel-memory-access/) +7. [https://docs.kernel.org/admin-guide/sysctl/vm.html#memory-failure-early-kill](https://docs.kernel.org/admin-guide/sysctl/vm.html#memory-failure-early-kill) +8. Programming persistent memory: A comprehensive guide for developers +9. [https://trustedfirmware-a.readthedocs.io/en/latest/components/sdei.html](https://trustedfirmware-a.readthedocs.io/en/latest/components/sdei.html#id2) \ No newline at end of file diff --git "a/sig/CoderOneOne/content/\345\274\200\345\217\221\350\200\205\346\214\207\345\215\227/Anolis OS\347\216\257\345\242\203\346\220\255\345\273\272\346\225\231\347\250\213.md" "b/sig/CoderOneOne/content/\345\274\200\345\217\221\350\200\205\346\214\207\345\215\227/Anolis OS\347\216\257\345\242\203\346\220\255\345\273\272\346\225\231\347\250\213.md" new file mode 100644 index 0000000000000000000000000000000000000000..a9f7ecb382957f8fb98b0d231d69b48f1efed377 --- /dev/null +++ "b/sig/CoderOneOne/content/\345\274\200\345\217\221\350\200\205\346\214\207\345\215\227/Anolis OS\347\216\257\345\242\203\346\220\255\345\273\272\346\225\231\347\250\213.md" @@ -0,0 +1,268 @@ +# 写在前面 + +Anolis OS 是 OpenAnolis 社区推出的完全开源、中立、开放的发行版，它支持多计算架构，也面向云端场景优化。 + +在您使用Anolis OS之前，我们提供了一个预装Anolis OS的在线机器资源服务。我们**强烈建议**您访问[**龙蜥实验室**](https://lab.openanolis.cn/#/apply/home)，使用Web页面及机器人等形式自动创建和管理机器资源，以此来对Anolis OS进行体验。 + +您可以访问[龙蜥实验室使用指南](https://www.yuque.com/anolis-docs/community/peng85)，来进行**一键申请**和 **免费试用** 。 + + + +我们提供两种方式安装Anolis OS： + +* ISO镜像安装 +* qcow虚拟机镜像安装 + +## 一、通过ISO进行安装 + +### 1.1 ISO镜像下载 + +登陆下载界面获取Anolis OS最新iso镜像文件 + +[https://openanolis.cn/download](https://openanolis.cn/download) + + + +### 1.2 镜像安装 + +参考该文档，通过图形化安装接口部署Anolis8/7至目标平台： + +[https://www.yuque.com/anolis-docs/manual/installation](https://www.yuque.com/anolis-docs/manual/installation) + +## 二、 通过qcow虚拟机镜像安装 + +首先，验证CPU是否支持KVM； + +`egrep '(vmx|svm)' /proc/cpuinfo` + +如果结果中有vmx（Intel）或svm(AMD)字样，就说明CPU是支持的。 + +如果您是买的ECS，或者已经开了虚拟机，那大概率没办法再通过KVM的方式进行安装。 + +### 2.1 虚拟机镜像下载 + +登陆下载界面获取Anolis OS最新qcow2镜像文件 + +[https://openanolis.cn/download](https://openanolis.cn/download) + +这里以7.9为例：点击网址中的下载按钮后，选择相应架构的文件夹进入，既可以看到对应的下载列表，请选择**AnolisOS-7.9-GA-x86_64-ANCK.qcow2**文件进行下载。 + + + +### 2.2 安装依赖包 + +`sudo yum install -y qemu-kvm libvirt virt-install bridge-utils` + +### 2.3 启动前配置 + +#### 2.3.1 libvirt服务 + +开启libvirt服务 + +`systemctl start libvirtd` + +设置开机启动 + +`systemctl enable libvirtd` + +查看状态操作结果 + +`systemctl status libvirtd` + + + +`systemctl is-enabled libvirtd` + + + +#### 2.3.2 打开虚拟化的网络支持 + +`sudo virsh net-autostart default` + +`sudo virsh net-start default` + +`sudo sysctl -w net.ipv4.ip_forward=1` # 也可以写到配置文件里持久化 + +**TIPS：** + +`sudo virsh net-autostart default` 执行过程中可能会卡住，此时将 `/etc/modprobe.d/blacklist.conf` 文件中的 "blacklist nf_conntrack_ipv4" 语句注释掉，例如 + +``` +... +#blacklist nf_conntrack_ipv4 +``` + +之后再执行 `sudo virsh net-autostart default` + +#### 2.3.3 修改kvm权限 + +直接设置成root启动 + +``` +cat >> /etc/libvirt/qemu.conf << EOF +user = "root" +group = "root" +EOF +systemctl restart libvirtd.service +``` + +#### 2.3.4 建立链接 + +查看qemu-kvm路径 + +`whereis qemu-kvm` + +``` +qemu-kvm: /etc/qemu-kvm /usr/libexec/qemu-kvm /usr/share/qemu-kvm /usr/share/man/man1/qemu-kvm.1.gz +``` + +建立软连接 + +`ln -s /usr/libexec/qemu-kvm /usr/bin/qemu-kvm` + +#### 2.3.5 创建xml配置文件 + +示例文件的名称为anolis.xml，请根据提示修改您的镜像路径 + +您可以按照注释自己酌情修改。 + +``` +