msserviceprofiler/docs/服务化拆解工具.md · Ascend/msit

# 服务化拆解工具
## 工具定位
本工具基于 msserviceprofiler 工具采集的性能数据拆解服务化 Batch 执行中各阶段耗时，如组Batch、数据下发、模型执行、数据接收等。通过拆解识别性能瓶颈，方便开发人员优化框架。

## 工具安装
- **pip 安装**
  ```sh
  pip install -U msserviceprofiler
  msserviceprofiler split -h
  ```
- **如果希望通过源码方式使用**
  ```sh
  git clone https://gitee.com/ascend/msit.git
  cd msit/msserviceprofiler
  pip install .[real] # 安装必要的依赖
  export PYTHONPATH=$PWD:$PYTHONPATH
  python msserviceprofiler/__main__.py split -h
  ```
## 命令行参数

| 参数                 | 说明                                                            |是否必选|
  | -------------------- | --------------------------------------------------------------- |-----|
  | --input-path | 指定性能数据所在路径  |是|
  | --output-path | 指定拆解后文件生成路径，默认为当前路径下 output 文件夹 |否|
  | --log_level  | 日志级别，可选值 debug,info,warning,error,fatal,critical，默认info  |否|
  | --prefill-batch-size  | 指定拆解的 Prefill batch 的 batch_size 大小，该值可以从 batch.csv 中的 batch_size 字段中获取，默认值为0 ，代表不执行 prefill 性能拆解 |否|
  | --prefill-number  | 指定拆解的 Prefill batch 的数量，用于统计执行时间的最大值、最小值、平均值和标准差，默认值为1 |否|
  | --prefill-rid  | 指定拆解的 Prefill batch 的请求 id，该值可以从 request.csv 中的 http_rid 字段中获取，默认值为-1，代表不执行 prefill 性能拆解 |否|
  | --decode-batch-size  | 指定拆解的 Decode batch 的 batch_size 大小，该值可以从 batch.csv 中的 batch_size 字段中获取，默认值为0，代表不执行 decode 性能拆解 |否|
  | --decode-number  | 指定拆解的 Decode batch 的数量，用于统计执行时间的最大值、最小值、平均值和标准差，默认值为1 |否|
  | --decode-rid  | 指定拆解的 Decode batch 的请求 id，该值可以从 request.csv 中的 http_rid 字段中获取，默认值为-1，代表不执行 decode 性能拆解 |否|
## 使用方式
- **使用场景 1，指定 `batch_size` 大小拆解**
  - 如拆解100个`batch_size`为1的`prefill batch`数据，可执行：
    ```sh
    python msserviceprofiler/__main__.py split --input-path=/path/to/input --output-path=/path/to/output/ --prefill-batch-size=1 --prefill-number=100
    ```
    执行完毕在结果路径下生成输出文件 `prefill.csv`。
  - 拆解50个`batch_size`为10的`decode batch`数据，可执行：
    ```sh
    python msserviceprofiler/__main__.py split --input-path=/path/to/input --output-path=/path/to/output/ --decode-batch-size=10 --prefill-number=50
    ```
    执行完毕在结果路径下生成输出文件 `decode.csv`。
- **使用场景 2，指定 `rid` 拆解**
  - 拆解 prefill 数据:
    ```sh
    python msserviceprofiler/__main__.py split --input-path=/path/to/input --output-path=/path/to/output/ --prefill-rid=efcas2d
    ```
    执行完毕在结果路径下生成输出文件 `prefill.csv`。
  - 拆解 decode 数据:
    ```sh
    python msserviceprofiler/__main__.py split --input-path=/path/to/input --output-path=/path/to/output/ --decode-rid=efcas2d
    ```
    执行完毕在结果路径下生成输出文件 `decode.csv`。

## **结果说明**
- `prefill.csv`
   | 字段                 | 说明                                            |
  | -------------------- | ----------------------------------------------- |
  | name | 标注batch内事件名称  |
  | during_time(ms) | 当前batch事件的执行时间，单位ms |
  | max  | 事件的最大执行时间，单位ms  |
  | min  | 事件的最小执行时间，单位ms  |
  | mean  | 事件的平均执行时间，单位ms  |
  | std  | 事件执行时间的标准差，单位ms  |
  | pid  | 事件的进程号  |
  | tid  | 事件的线程号  |
  | start_time(ms)  | 当前batch事件的开始时间，显示为时间戳，单位ms  |
  | end_time(ms)  | 当前batch事件的结束时间，显示为时间戳，单位ms  |
  | rid  | 请求ID  |
- `decode.csv`
与 `prefill.csv` 格式相同， `decode.csv` 不含 `rid` 列。
- 采集domain域与解析结果对照表
  | 解析结果                 | 采集domain域                                 |
  | -------------------- | ----------------------------------------------- |
  | prefill.csv | "Request; BatchSchedule; ModelExecute"  |
  | decode.csv | "BatchSchedule; ModelExecute"  |

Ascend/msit
暂停

简介

发行版 (4)

贡献者

语言

近期动态

Ascend/msit暂停 .gitee-modal { width: 500px !important; }

简介

发行版 (4)

开源评估指数源自 OSS-Compass 评估体系，评估体系围绕以下三个维度对项目展开评估：

贡献者

语言

近期动态

搜索帮助

Ascend/msit
暂停