问题是输出结果没有TTFT TPOT ITL结果？？？？ · Issue #ICYLN9 · AISBench/benchmark - Gitee.com

Gitee 618 年中盛典开启：企业版新购最高送一年，PocketClaw 首次限时折扣

开源项目 > 人工智能 > 大模型 &&

已完成

创建于

2025-09-18 11:38

### 操作系统及版本

openuler

### 安装工具的python环境

docker容器中的python环境

### python版本

3.11

### AISBench工具版本

main

### AISBench执行命令

ais_bench --models vllm_api_general_chat --datasets synthetic_gen --summarizer stable_stage -m perf

### 模型配置文件或自定义配置文件内容

我测试的命令：ais_bench --models vllm_api_general_chat --datasets synthetic_gen --summarizer stable_stage -m perf
synthetic_config数据如下
synthetic_config = {
    "Type":"string",
    "RequestCount": 256,
    "StringConfig" : {
        "Input" : {
            "Method": "uniform",
            "Params": {"MinValue": 2048, "MaxValue": 2048}
        },
        "Output": {
            "Method": "uniform",
            "Params": {"MinValue": 2048, "MaxValue": 2048}
        }
    }
}
问题是输出结果没有TTFT TPOT ITL结果？？？？

### 预期行为

问题是输出结果没有TTFT TPOT ITL结果？？？？

### 实际行为

╒══════════════════════════╤═════════╤═════════════════╤═════════════════╤═══════════════╤═════════════════╤═════════════════╤═════════════════╤═════════════════╤═════╕
│ Performance Parameters   │ Stage   │ Average         │ Min             │ Max           │ Median          │ P75             │ P90             │ P99             │  N  │
╞══════════════════════════╪═════════╪═════════════════╪═════════════════╪═══════════════╪═════════════════╪═════════════════╪═════════════════╪═════════════════╪═════╡
│ E2EL                     │ stable  │ 10138.4978 ms   │ 8120.3377 ms    │ 10569.8847 ms │ 10183.2925 ms   │ 10238.699 ms    │ 10355.0636 ms   │ 10565.7272 ms   │ 74  │
├──────────────────────────┼─────────┼─────────────────┼─────────────────┼───────────────┼─────────────────┼─────────────────┼─────────────────┼─────────────────┼─────┤
│ InputTokens              │ stable  │ 1032.0          │ 1032.0          │ 1032.0        │ 1032.0          │ 1032.0          │ 1032.0          │ 1032.0          │ 74  │
├──────────────────────────┼─────────┼─────────────────┼─────────────────┼───────────────┼─────────────────┼─────────────────┼─────────────────┼─────────────────┼─────┤
│ OutputTokens             │ stable  │ 255.3378        │ 209.0           │ 256.0         │ 256.0           │ 256.0           │ 256.0           │ 256.0           │ 74  │
├──────────────────────────┼─────────┼─────────────────┼─────────────────┼───────────────┼─────────────────┼─────────────────┼─────────────────┼─────────────────┼─────┤
│ OutputTokenThroughput    │ stable  │ 25.1932 token/s │ 24.2198 token/s │ 26.08 token/s │ 25.1392 token/s │ 25.3093 token/s │ 25.8987 token/s │ 26.0757 token/s │ 74  │
╘══════════════════════════╧═════════╧═════════════════╧═════════════════╧═══════════════╧═════════════════╧═════════════════╧═════════════════╧═════════════════╧═════╛
╒═════════════════════════╤═════════╤═══════════════════╕
│ Common Metric           │ Stage   │ Value             │
╞═════════════════════════╪═════════╪═══════════════════╡
│ Benchmark Duration      │ stable  │ 91263.0265 ms     │
├─────────────────────────┼─────────┼───────────────────┤
│ Total Requests          │ stable  │ 74                │
├─────────────────────────┼─────────┼───────────────────┤
│ Failed Requests         │ stable  │ 0                 │
├─────────────────────────┼─────────┼───────────────────┤
│ Success Requests        │ stable  │ 74                │
├─────────────────────────┼─────────┼───────────────────┤
│ Concurrency             │ stable  │ 8                 │
├─────────────────────────┼─────────┼───────────────────┤
│ Max Concurrency         │ stable  │ 8                 │
├─────────────────────────┼─────────┼───────────────────┤
│ Request Throughput      │ stable  │ 0.8108 req/s      │
├─────────────────────────┼─────────┼───────────────────┤
│ Total Input Tokens      │ stable  │ 76368             │
├─────────────────────────┼─────────┼───────────────────┤
│ Total generated tokens  │ stable  │ 18895             │
├─────────────────────────┼─────────┼───────────────────┤
│ Input Token Throughput  │ stable  │ 836.7901 token/s  │
├─────────────────────────┼─────────┼───────────────────┤
│ Output Token Throughput │ stable  │ 207.0389 token/s  │
├─────────────────────────┼─────────┼───────────────────┤
│ Total Token Throughput  │ stable  │ 1043.8291 token/s │

### 前置检查

- [x] 我已读懂主页文档的快速入门，无法解决问题
- [x] 我已检索过FAQ，无重复问题
- [x] 我已搜索过现有Issue，无重复问题
- [x] 我已更新到最新版本，问题仍存在

### 操作系统及版本

openuler

### 安装工具的python环境

docker容器中的python环境

### python版本

3.11

### AISBench工具版本

main

### AISBench执行命令

ais_bench --models vllm_api_general_chat --datasets synthetic_gen --summarizer stable_stage -m perf

### 模型配置文件或自定义配置文件内容

我测试的命令：ais_bench --models vllm_api_general_chat --datasets synthetic_gen --summarizer stable_stage -m perf
synthetic_config数据如下
synthetic_config = {
    "Type":"string",
    "RequestCount": 256,
    "StringConfig" : {
        "Input" : {
            "Method": "uniform",
            "Params": {"MinValue": 2048, "MaxValue": 2048}
        },
        "Output": {
            "Method": "uniform",
            "Params": {"MinValue": 2048, "MaxValue": 2048}
        }
    }
}
问题是输出结果没有TTFT TPOT ITL结果？？？？

### 预期行为

问题是输出结果没有TTFT TPOT ITL结果？？？？

### 实际行为

╒══════════════════════════╤═════════╤═════════════════╤═════════════════╤═══════════════╤═════════════════╤═════════════════╤═════════════════╤═════════════════╤═════╕
│ Performance Parameters   │ Stage   │ Average         │ Min             │ Max           │ Median          │ P75             │ P90             │ P99             │  N  │
╞══════════════════════════╪═════════╪═════════════════╪═════════════════╪═══════════════╪═════════════════╪═════════════════╪═════════════════╪═════════════════╪═════╡
│ E2EL                     │ stable  │ 10138.4978 ms   │ 8120.3377 ms    │ 10569.8847 ms │ 10183.2925 ms   │ 10238.699 ms    │ 10355.0636 ms   │ 10565.7272 ms   │ 74  │
├──────────────────────────┼─────────┼─────────────────┼─────────────────┼───────────────┼─────────────────┼─────────────────┼─────────────────┼─────────────────┼─────┤
│ InputTokens              │ stable  │ 1032.0          │ 1032.0          │ 1032.0        │ 1032.0          │ 1032.0          │ 1032.0          │ 1032.0          │ 74  │
├──────────────────────────┼─────────┼─────────────────┼─────────────────┼───────────────┼─────────────────┼─────────────────┼─────────────────┼─────────────────┼─────┤
│ OutputTokens             │ stable  │ 255.3378        │ 209.0           │ 256.0         │ 256.0           │ 256.0           │ 256.0           │ 256.0           │ 74  │
├──────────────────────────┼─────────┼─────────────────┼─────────────────┼───────────────┼─────────────────┼─────────────────┼─────────────────┼─────────────────┼─────┤
│ OutputTokenThroughput    │ stable  │ 25.1932 token/s │ 24.2198 token/s │ 26.08 token/s │ 25.1392 token/s │ 25.3093 token/s │ 25.8987 token/s │ 26.0757 token/s │ 74  │
╘══════════════════════════╧═════════╧═════════════════╧═════════════════╧═══════════════╧═════════════════╧═════════════════╧═════════════════╧═════════════════╧═════╛
╒═════════════════════════╤═════════╤═══════════════════╕
│ Common Metric           │ Stage   │ Value             │
╞═════════════════════════╪═════════╪═══════════════════╡
│ Benchmark Duration      │ stable  │ 91263.0265 ms     │
├─────────────────────────┼─────────┼───────────────────┤
│ Total Requests          │ stable  │ 74                │
├─────────────────────────┼─────────┼───────────────────┤
│ Failed Requests         │ stable  │ 0                 │
├─────────────────────────┼─────────┼───────────────────┤
│ Success Requests        │ stable  │ 74                │
├─────────────────────────┼─────────┼───────────────────┤
│ Concurrency             │ stable  │ 8                 │
├─────────────────────────┼─────────┼───────────────────┤
│ Max Concurrency         │ stable  │ 8                 │
├─────────────────────────┼─────────┼───────────────────┤
│ Request Throughput      │ stable  │ 0.8108 req/s      │
├─────────────────────────┼─────────┼───────────────────┤
│ Total Input Tokens      │ stable  │ 76368             │
├─────────────────────────┼─────────┼───────────────────┤
│ Total generated tokens  │ stable  │ 18895             │
├─────────────────────────┼─────────┼───────────────────┤
│ Input Token Throughput  │ stable  │ 836.7901 token/s  │
├─────────────────────────┼─────────┼───────────────────┤
│ Output Token Throughput │ stable  │ 207.0389 token/s  │
├─────────────────────────┼─────────┼───────────────────┤
│ Total Token Throughput  │ stable  │ 1043.8291 token/s │

### 前置检查

- [x] 我已读懂主页文档的快速入门，无法解决问题
- [x] 我已检索过FAQ，无重复问题
- [x] 我已搜索过现有Issue，无重复问题
- [x] 我已更新到最新版本，问题仍存在

登录后才可以发表评论

1

https://gitee.com/aisbench/benchmark.git

git@gitee.com:aisbench/benchmark.git

aisbench

benchmark

benchmark