[feature][extendrt] experimental stream_sync_timeout option · Pull Request !330 · MindSpore/mindspore-lite

1. feat: experimental stream_sync_timeout option

依赖PR:
https://gitee.com/mindspore/mindspore/pulls/89514

---
<!--  Thanks for sending a pull request!  Here are some tips for you:

1) If this is your first time, please read our contributor guidelines: https://gitee.com/mindspore/mindspore-lite/blob/master/CONTRIBUTING.md

2) If you want to contribute your code but don't know who will review and merge, please add label `mindspore-assistant` to the pull request, we will find and do it as soon as possible.
-->

**What type of PR is this?**

/kind feature

**What does this PR do / why do we need it**:
### 一、新增 stream_sync_timeout 配置项

#### stream_sync_timeout 参数说明

|  值 |  说明 |
|---|---|
| -1  |  表示永久等待 |
| >0  |  配置具体的超时时间，单位是毫秒 |

> https://www.hiascend.com/document/detail/zh/canncommercial/82RC1/API/appdevgapi/aclcppdevg_03_1391.html

#### 配置示例
永久等待:
```ini
[experimental]
stream_sync_timeout=-1
```

50 ms 超时:
```ini
[experimental]
stream_sync_timeout=50
```

#### 注意

由于 `aclmdlExecuteV2` 内部的超时处理及可能的资源释放，在发生超时情况下，`aclmdlExecuteV2`执行时间将额外多出约10ms

#### 实现方案

使用`aclmdlExecuteV2` 实现
> https://www.hiascend.com/document/detail/zh/canncommercial/82RC1/API/appdevgapi/aclcppdevg_03_0301.html
> https://www.hiascend.com/document/detail/zh/canncommercial/82RC1/API/appdevgapi/aclcppdevg_03_0300.html

Mindspore 适配已合入： https://gitee.com/mindspore/mindspore/pulls/89514

#### 1） 配置值
在 common.h 增加了 kStreamSyncTimeout 相关常量及默认值，支持配置模型执行时 stream 同步超时时间。
新增了 kModelExecStreamSyncTimeoutIgnoreValue 和 kModelExecStreamSyncTimeoutUnlimitedValue，用于特殊超时控制。

#### 2） 配置解析

acl_model_options.h 新增 ModelExecConfig 结构体及模板属性，支持 stream_sync_timeout 配置。
acl_graph_executor.cc 新增 GetExecConfig 方法，读取配置并解析到 AclModelOptions 的 model_exec_config。
GenAclOptions 时会调用 GetExecConfig，将配置写入 options。

#### 3）模型推理流程

PreInitModelResource 中根据配置创建和设置 exec_config_handle。
UnLoad 时增加 exec_config_handle 和 stream 的释放。
model_process.cc 新增 ExecuteModel 方法，根据配置决定调用 aclmdlExecuteV2（支持超时）或原有 aclmdlExecute。
PredictFromHost 推理流程调用 ExecuteModel，并适配错误处理。

### 二、新增 pytest ST 及 stream_sync_timeout 相关测试用例

新增的 pytest ST 适用于除性能、精度外的系统测试，可使用Python API 对相关特性进行测试，具有较高的灵活性。

当前，仅在ascend平台启用，支持的backend: `arm_ascend310_cloud`, `arm_ascend310_ge_cloud`

#### 1. 编写用例
在编写测试用例时，使用装饰器`@pytest.mark.backend`指定测试用例使能的backend

参数说明
```
pytest.mark.backend

*args (List[str]): backend 列表，表示该用例需要在指定的backend上测试.
**kwargs:
  require_device_num (int): 当前用例所需设备数. Default: 1
```

示例：
```python
@pytest.mark.backend("arm_ascend310_cloud")
def test_some_feature():
  assert True
```

可以指定多个backend：
```python
@pytest.mark.backend("arm_ascend310_cloud", "arm_ascend310_ge_cloud")
def test_some_feature():
  assert True
```

特别地，`all`表示该用例可在所有backend测试：
```python
@pytest.mark.backend("all")
def test_some_feature():
  assert True
```
设置设备需求：
```python
@pytest.mark.backend("arm_ascend310_cloud", require_device_num=2)
def test_some_feature():
  assert True
```

`device_id` 为用例可使用设备列表。 `device_id`以启动参数方式指定，并由pytest自动传入测试用例，表示可使用设备编号。

测试框架保证 `len(device_id) >= require_device_num`，用例设备需求可满足：

```python
@pytest.mark.backend("arm_ascend310_cloud", require_device_num=2)
def test_some_feature(device_id: List[int]):
  assert len(device_id) >= 2  # always True
```
**注意：**
1. 传入设备的是否可用由pytest调用方保证，框架不做验证。
2. 正确使用相应的设备须由测试用例保证，框架不做验证。

#### 2. 执行用例
在执行ST时，通过`-c`指定pytest配置文件，通过`--backend`选择相应backend的测试用例（只能指定具体的backend, `all`不支持）：

```bash
pytest "mindspore-lite/test/st/python/pytest" -c "mindspore-lite/test/st/python/pytest/pytest.ini" --backend arm_ascend310_cloud
```
可指定多个backend：
```bash
pytest "mindspore-lite/test/st/python/pytest" -c "mindspore-lite/test/st/python/pytest/pytest.ini" --backend arm_ascend310_cloud arm_ascend310_ge_cloud
```

通过`--device_id`指定可使用的设备编号：
```bash
pytest "mindspore-lite/test/st/python/pytest" -c "mindspore-lite/test/st/python/pytest/pytest.ini" --backend arm_ascend310_cloud --device_id 1
```
可指定多个设备：
```bash
pytest "mindspore-lite/test/st/python/pytest" -c "mindspore-lite/test/st/python/pytest/pytest.ini" --backend arm_ascend310_cloud --device_id 0 1 2 3
```
**注意：**
1. 执行用例时，应保证传入的`device_id`可用
2. 当前CI只传入1个device

**Which issue(s) this PR fixes**:

Fixes #ICZCZV

**Code review checklist [【代码检视checklist说明】](https://gitee.com/mindspore/community/blob/master/security/code_review_checklist_mechanism.md)**:

+ - [ ] 是否进行返回值校验 (禁止使用void屏蔽安全函数、自研函数返回值，C++标准库函数确认无问题可以屏蔽)
+ - [ ] 是否遵守 ***SOLID原则 / 迪米特法则***
+ - [ ] 是否具备UT测试用例看护 && 测试用例为有效用例 (若新特性无测试用例看护请说明原因)
+ - [ ] 是否为对外接口变更
+ - [ ] 是否涉及官网文档修改

MindSpore/mindspore-lite .gitee-modal { width: 500px !important; }

搜索帮助

MindSpore/mindspore-lite