在centos7 4.18与openeuler 5.10.0-136.14.2.90.oe2203sp1.x86_64测试nvme fio write时候，使用ext4文件系统存在性能差异

**问题描述：**

使用4.18与5.10分别测试fio randwrite，有下面几种差异：

* 在单线程时候，5.10表现比4.18差：4.18 IOPS为289k；5.10 IOPS为234k。

* 并发时候，5.10表现更好：4.18 IOPS为562k；5.10 IOPS为651k。

上面两种均使用ext4文件系统。但在对裸盘与xfs进行测试时候，发现性能相差不大。

**需求** ：为什么单线程在ext4文件系统下，5.10性能表现比4.18差？有没有什么解决方案？希望帮忙排查一下。

**测试方法** 
```
fio -direct=1 -iodepth=128 -rw=randwrite -ioengine=libaio -bs=4k -size=2G -numjobs=1 -time_based -runtime=100 -group_reporting -filename=./test -name=Rand_write_Testing
```

### ext4单线程下

4.18:
![输入图片说明](https://foruda.gitee.com/images/1707028859153759948/bfef7d74_13259469.png "屏幕截图")

5.10：
![输入图片说明](https://foruda.gitee.com/images/1707028887412735961/41e28da3_13259469.png "屏幕截图")

### ext4并发下

5.10
![输入图片说明](https://foruda.gitee.com/images/1707028911239182598/f74a9666_13259469.png "屏幕截图")

4.18
![输入图片说明](https://foruda.gitee.com/images/1707028933176764622/5a5b02f3_13259469.png "屏幕截图")
### 使用xfs单线程

5.10
![输入图片说明](https://foruda.gitee.com/images/1707028952339928580/0486aea8_13259469.png "屏幕截图")
4.18
![输入图片说明](https://foruda.gitee.com/images/1707028969704965629/5049116c_13259469.png "屏幕截图")

问题原因：ext4切换iomap后（378f32bab3714f04c4e0c3aee4129f6703805550），aio dio覆盖写场景的完成由 中断上下文处理 变成了 基于workqueue启worker处理，因为多了唤醒kworker的流程并且kworker和fio在同一CPU会竞争计算资源，处理路径相比4.18效率低，表现为IO完成速度慢：
4.18
```
dio_bio_end_aio
 defer_completion = dio->defer_completion || (dio->op == REQ_OP_WRITE && dio->inode->i_mapping->nrpages); // 只有fio -sync或者ext4写入unwritten ext区域才会走kworker路径（详见ext4_dio_get_block_unwritten_async中设置set_buffer_defer_completion 和 get_more_blocks中基于buffer_defer_completion设置dio->defer_completion）
 if (defer_completion) {
    queue_work(dio->inode->i_sb->s_dio_done_wq, &dio->complete_work);
 } else {
    dio_complete(dio, 0, DIO_COMPLETE_ASYNC); // 中断上下文完成DIO
 }
```
5.10
```
iomap_dio_bio_end_io
 if (dio->wait_for_completion) { // 非aio场景
 } else if (dio->flags & IOMAP_DIO_WRITE) {
    queue_work(inode->i_sb->s_dio_done_wq, &dio->aio.work); // aio场景默认都是kworker完成DIO
 } else {
    iomap_dio_complete_work(&dio->aio.work);
 }
```

对于fio测试，2G文件在nvme可以很快（<2s）完成一次全覆盖写（unwritten -> written），之后的测试都是overwrite。对于4.18都是在nvme irq中完成DIO，对于5.10则是使用kworker完成DIO。由于外部厂商使用的nvme硬件队列数量和CPU数量相同，因此每当DIO完成都会在下发的CPU上处理nvme中断，意味着fio、nvme irq、kworker（5.10）在同一个CPU上执行。5.10使用单独kworker处理DIO完成，nvme irq完成会先唤醒worker，然后worker处理DIO，并且fio和kworker会在同一CPU竞争资源，相比4.18直接在nvme irq完成DIO 5.10效率会降低，因此性能会差。

可以解释之前观测到的现象：
4.18很难抓到dio kworker：只有第一次写才会用kworker处理，后续相同地址的写都是nvme irq完成，因此kworker很难看到。
火焰图中5.10 kworker的schedule占比很高：由于5.10 DIO完成只有一条语句，执行很快，导致kworker大部分时间都在做schedule
修改5.10 kworker nice值可以提升性能：fio和kworker会抢CPU，kworker实际执行时间很短，调低kworker优先级一定程度可以提升fio下发速度

GVP openEuler/kernel

内容风险标识

评论 (37)

GVPopenEuler/kernel

内容风险标识