【OLK5.10 && OLK6.6】 erofs+fscache+cachefiles 支持按需加载

支持 erofs/fscache/cachefiles 的按需加载模式，包括 预读，domain共享，failover 等相关特性加速容器冷启动。

除了从开源社区回合补丁之外，我们还对该特性做了一些兼容性的修改和质量加固：
 * 添加 erofs_enabled 和 cachefiles_ondemand_enabled 动态开关；
 * (5.10)修改缓存文件目录结构使其与主线一致，避免内核升降级导致已有缓存查找不到；
 * (5.10)使用与主线相同的 xattr，避免内核升降级导致缓存失效；
 * 各种各样的 bugfix;

## 新增接口
 * /sys/module/fs_ctl/parameters/erofs_enabled
传入 1/on/ON/y/Y 支持 blockdev based erofs，默认关闭，打开后无法关闭，也可通过 cmdline添加 “fs_ctl.erofs_enabled=1” 使能

*/sys/module/fs_ctl/parameters/cachefiles_ondemand_enabled
传入 1/on/ON/y/Y 支持 erofs 和 cachefiles 按需加载模式，默认关闭，打开后无法关闭，也可通过 cmdline 添加 “fs_ctl.cachefiles_ondemand_enabled=1” 使能

## 依赖
 * cachefiles 后端文件夹文件系统类型需要支持 llseek, bmap, xattrs, 还有 openat() 及相应操作。

* cachefiles  需要 dnotify 支持。

## 特性约束说明
 * erofs 当前只支持 4k page, 因此在 arm 64k page 下不可用;

* 挂载镜像 A 读取一些数据后卸载，再挂载相同 fsid 的镜像 B，此时会读到镜像 A 中之前缓存到本地的数据，因此用户需保证不同镜像 fsid 的唯一性;

* cachefiles 将从缓存中删除它无法识别的任何文件或任何类型不正确的文件（例如 FIFO 文件或设备文件）;

* 不要在 cachefiles 缓存中挂载其他内容，因为这会导致问题。内核模块包含自己的非常精简的路径行走工具，该工具忽略安装点，但守护程序无法避免它们;

* 当 cachefiles 缓存处于活动状态时，请勿在缓存中创建、重命名或取消链接文件和目录，因为这可能会导致状态变得不确定;

* 重命名 cachefiles 缓存中的文件可能会使对象看起来像是其他对象（文件名是查找键的一部分）;

* 不要更改或删除 cachefiles 缓存附加到缓存文件的扩展属性，因为这会导致缓存状态管理混乱;

* 不要在 cachefiles 缓存中创建文件或目录，以免缓存混乱或提供不正确的数据;

* 不要 chmod cachefiles 缓存中的文件。该模块创建具有最小权限的内容，以防止随机用户能够直接访问它们。

* open stat 失败时，也要通知内核 copen否则会hung, 传入的 isize 是相应的错误码否则可能仍会创建空文件。同时，还需要去释放匿名fd，防止object引用计数泄露导致cookie无法清除。
 
 * read 失败时，也要执行 cread ioctl 否则内核会 hung, 内核发现没有读到相应的数据会报错。

* erofs 按需加载模式与 NFS fscache 模式冲突，不能同时 bind /dev/cachefiles 为普通模式和ondemand 模式。
 
 * 相对路径挂载是以守护进程所在的路径进行解析，因此用户态指定 fsid 或 deviceid 时不要传入相对路径(不包含 '/' 或 ‘\0’)。
 
 * 后端文件夹出现 EIO 时，fscache 可能会 stop 进入 DEAD 状态，此时通过 devfd 写会返回 EIO, 要恢复只能重新打开 /dev/cachefiles。
 
 * /dev/cachefiles 关闭后，已经挂载的 erofs 镜像可以读取 page  cache 中的数据，但是因为 object 已经退出，无法找到对应的后端文件从中读取新数据。

* 在用户态放大读请求时，读取的数据大小应是后端文件系统块大小的整数倍，如 ext4 4k 块大小，用户态预读的大小应是 4k 的整数倍。
 
 * 不使能 domain_id 时，fsid 保证唯一；使能  domain_id 时，domian_id 内 fsid 唯一，domian_id 和不使能domain 的 fsid 也要保证唯一。

* erofs按需加载指定的镜像名称长度不能超过248。

* 禁止使用 cull 删除缓存文件夹(root_dir/cache 或 root_dir/graveyard)外的文件，因为该文件一定不是 inuse 状态。

* 用户态 copen 获取到匿名 fd 后，要提前通过 fd 写入数据时可能会返回 -ENOBUFS，这表示后端文件还未创建需要稍后再试。

* 同一个 fsid 对应的内容应该是不变的，如果更新了相同 fsid 的有关内容，就需要删除之前的缓存。

* umount之后，在用户接收到close消息后代表object一定是inactive状态，inuse不返回错误。在收到close之前不保证。

* 涉及到 selinx 并且是 enforcing 模式时，需要在执行 bind 之前通过 `secctx system_u:system_r:cachefiles_kernel_t:s0` 为内核设置合适的安全策略。同时也要对守护进程设置合适的安全策略使其可以正常切换到 secctx 中设置的安全策略。例如，对于cachefilesd守护进程，可以通过`chcon -t system_u:system_r:cachefiled_t /usr/sbin/cachefilesd`命令为cachefilesd二进制文件添加cachefiled_t安全上下文。自研的守护进程需要根据实现调整相应的安全策略。

GVP openEuler/kernel

内容风险标识

评论 (1)

GVPopenEuler/kernel

内容风险标识