登录
注册
开源
企业版
高校版
搜索
帮助中心
使用条款
关于我们
开源
企业版
高校版
私有云
模力方舟
AI 队友
登录
注册
Gitee 618 年中盛典开启:企业版新购最高送一年,PocketClaw 首次限时折扣
代码拉取完成,页面将自动刷新
开源项目
>
人工智能
>
大模型
&&
捐赠
捐赠前请先登录
取消
前往登录
扫描微信二维码支付
取消
支付完成
支付提示
将跳转至支付宝完成支付
确定
取消
Watch
不关注
关注所有动态
仅关注版本发行动态
关注但不提醒动态
78
Star
167
Fork
50
AISBench
/
benchmark
代码
Issues
81
Pull Requests
7
Wiki
统计
流水线
服务
JavaDoc
PHPDoc
质量分析
Jenkins for Gitee
腾讯云托管
腾讯云 Serverless
悬镜安全
阿里云 SAE
Codeblitz
SBOM
开发画像分析
我知道了,不再自动展开
更新失败,请稍后重试!
移除标识
内容风险标识
本任务被
标识为内容中包含有代码安全 Bug 、隐私泄露等敏感信息,仓库外成员不可访问
问题是输出结果没有TTFT TPOT ITL结果????
已完成
#ICYLN9
早餐加点
创建于
2025-09-18 11:38
### 操作系统及版本 openuler ### 安装工具的python环境 docker容器中的python环境 ### python版本 3.11 ### AISBench工具版本 main ### AISBench执行命令 ais_bench --models vllm_api_general_chat --datasets synthetic_gen --summarizer stable_stage -m perf ### 模型配置文件或自定义配置文件内容 我测试的命令:ais_bench --models vllm_api_general_chat --datasets synthetic_gen --summarizer stable_stage -m perf synthetic_config数据如下 synthetic_config = { "Type":"string", "RequestCount": 256, "StringConfig" : { "Input" : { "Method": "uniform", "Params": {"MinValue": 2048, "MaxValue": 2048} }, "Output": { "Method": "uniform", "Params": {"MinValue": 2048, "MaxValue": 2048} } } } 问题是输出结果没有TTFT TPOT ITL结果???? ### 预期行为 问题是输出结果没有TTFT TPOT ITL结果???? ### 实际行为 ╒══════════════════════════╤═════════╤═════════════════╤═════════════════╤═══════════════╤═════════════════╤═════════════════╤═════════════════╤═════════════════╤═════╕ │ Performance Parameters │ Stage │ Average │ Min │ Max │ Median │ P75 │ P90 │ P99 │ N │ ╞══════════════════════════╪═════════╪═════════════════╪═════════════════╪═══════════════╪═════════════════╪═════════════════╪═════════════════╪═════════════════╪═════╡ │ E2EL │ stable │ 10138.4978 ms │ 8120.3377 ms │ 10569.8847 ms │ 10183.2925 ms │ 10238.699 ms │ 10355.0636 ms │ 10565.7272 ms │ 74 │ ├──────────────────────────┼─────────┼─────────────────┼─────────────────┼───────────────┼─────────────────┼─────────────────┼─────────────────┼─────────────────┼─────┤ │ InputTokens │ stable │ 1032.0 │ 1032.0 │ 1032.0 │ 1032.0 │ 1032.0 │ 1032.0 │ 1032.0 │ 74 │ ├──────────────────────────┼─────────┼─────────────────┼─────────────────┼───────────────┼─────────────────┼─────────────────┼─────────────────┼─────────────────┼─────┤ │ OutputTokens │ stable │ 255.3378 │ 209.0 │ 256.0 │ 256.0 │ 256.0 │ 256.0 │ 256.0 │ 74 │ ├──────────────────────────┼─────────┼─────────────────┼─────────────────┼───────────────┼─────────────────┼─────────────────┼─────────────────┼─────────────────┼─────┤ │ OutputTokenThroughput │ stable │ 25.1932 token/s │ 24.2198 token/s │ 26.08 token/s │ 25.1392 token/s │ 25.3093 token/s │ 25.8987 token/s │ 26.0757 token/s │ 74 │ ╘══════════════════════════╧═════════╧═════════════════╧═════════════════╧═══════════════╧═════════════════╧═════════════════╧═════════════════╧═════════════════╧═════╛ ╒═════════════════════════╤═════════╤═══════════════════╕ │ Common Metric │ Stage │ Value │ ╞═════════════════════════╪═════════╪═══════════════════╡ │ Benchmark Duration │ stable │ 91263.0265 ms │ ├─────────────────────────┼─────────┼───────────────────┤ │ Total Requests │ stable │ 74 │ ├─────────────────────────┼─────────┼───────────────────┤ │ Failed Requests │ stable │ 0 │ ├─────────────────────────┼─────────┼───────────────────┤ │ Success Requests │ stable │ 74 │ ├─────────────────────────┼─────────┼───────────────────┤ │ Concurrency │ stable │ 8 │ ├─────────────────────────┼─────────┼───────────────────┤ │ Max Concurrency │ stable │ 8 │ ├─────────────────────────┼─────────┼───────────────────┤ │ Request Throughput │ stable │ 0.8108 req/s │ ├─────────────────────────┼─────────┼───────────────────┤ │ Total Input Tokens │ stable │ 76368 │ ├─────────────────────────┼─────────┼───────────────────┤ │ Total generated tokens │ stable │ 18895 │ ├─────────────────────────┼─────────┼───────────────────┤ │ Input Token Throughput │ stable │ 836.7901 token/s │ ├─────────────────────────┼─────────┼───────────────────┤ │ Output Token Throughput │ stable │ 207.0389 token/s │ ├─────────────────────────┼─────────┼───────────────────┤ │ Total Token Throughput │ stable │ 1043.8291 token/s │ ### 前置检查 - [x] 我已读懂主页文档的快速入门,无法解决问题 - [x] 我已检索过FAQ,无重复问题 - [x] 我已搜索过现有Issue,无重复问题 - [x] 我已更新到最新版本,问题仍存在
### 操作系统及版本 openuler ### 安装工具的python环境 docker容器中的python环境 ### python版本 3.11 ### AISBench工具版本 main ### AISBench执行命令 ais_bench --models vllm_api_general_chat --datasets synthetic_gen --summarizer stable_stage -m perf ### 模型配置文件或自定义配置文件内容 我测试的命令:ais_bench --models vllm_api_general_chat --datasets synthetic_gen --summarizer stable_stage -m perf synthetic_config数据如下 synthetic_config = { "Type":"string", "RequestCount": 256, "StringConfig" : { "Input" : { "Method": "uniform", "Params": {"MinValue": 2048, "MaxValue": 2048} }, "Output": { "Method": "uniform", "Params": {"MinValue": 2048, "MaxValue": 2048} } } } 问题是输出结果没有TTFT TPOT ITL结果???? ### 预期行为 问题是输出结果没有TTFT TPOT ITL结果???? ### 实际行为 ╒══════════════════════════╤═════════╤═════════════════╤═════════════════╤═══════════════╤═════════════════╤═════════════════╤═════════════════╤═════════════════╤═════╕ │ Performance Parameters │ Stage │ Average │ Min │ Max │ Median │ P75 │ P90 │ P99 │ N │ ╞══════════════════════════╪═════════╪═════════════════╪═════════════════╪═══════════════╪═════════════════╪═════════════════╪═════════════════╪═════════════════╪═════╡ │ E2EL │ stable │ 10138.4978 ms │ 8120.3377 ms │ 10569.8847 ms │ 10183.2925 ms │ 10238.699 ms │ 10355.0636 ms │ 10565.7272 ms │ 74 │ ├──────────────────────────┼─────────┼─────────────────┼─────────────────┼───────────────┼─────────────────┼─────────────────┼─────────────────┼─────────────────┼─────┤ │ InputTokens │ stable │ 1032.0 │ 1032.0 │ 1032.0 │ 1032.0 │ 1032.0 │ 1032.0 │ 1032.0 │ 74 │ ├──────────────────────────┼─────────┼─────────────────┼─────────────────┼───────────────┼─────────────────┼─────────────────┼─────────────────┼─────────────────┼─────┤ │ OutputTokens │ stable │ 255.3378 │ 209.0 │ 256.0 │ 256.0 │ 256.0 │ 256.0 │ 256.0 │ 74 │ ├──────────────────────────┼─────────┼─────────────────┼─────────────────┼───────────────┼─────────────────┼─────────────────┼─────────────────┼─────────────────┼─────┤ │ OutputTokenThroughput │ stable │ 25.1932 token/s │ 24.2198 token/s │ 26.08 token/s │ 25.1392 token/s │ 25.3093 token/s │ 25.8987 token/s │ 26.0757 token/s │ 74 │ ╘══════════════════════════╧═════════╧═════════════════╧═════════════════╧═══════════════╧═════════════════╧═════════════════╧═════════════════╧═════════════════╧═════╛ ╒═════════════════════════╤═════════╤═══════════════════╕ │ Common Metric │ Stage │ Value │ ╞═════════════════════════╪═════════╪═══════════════════╡ │ Benchmark Duration │ stable │ 91263.0265 ms │ ├─────────────────────────┼─────────┼───────────────────┤ │ Total Requests │ stable │ 74 │ ├─────────────────────────┼─────────┼───────────────────┤ │ Failed Requests │ stable │ 0 │ ├─────────────────────────┼─────────┼───────────────────┤ │ Success Requests │ stable │ 74 │ ├─────────────────────────┼─────────┼───────────────────┤ │ Concurrency │ stable │ 8 │ ├─────────────────────────┼─────────┼───────────────────┤ │ Max Concurrency │ stable │ 8 │ ├─────────────────────────┼─────────┼───────────────────┤ │ Request Throughput │ stable │ 0.8108 req/s │ ├─────────────────────────┼─────────┼───────────────────┤ │ Total Input Tokens │ stable │ 76368 │ ├─────────────────────────┼─────────┼───────────────────┤ │ Total generated tokens │ stable │ 18895 │ ├─────────────────────────┼─────────┼───────────────────┤ │ Input Token Throughput │ stable │ 836.7901 token/s │ ├─────────────────────────┼─────────┼───────────────────┤ │ Output Token Throughput │ stable │ 207.0389 token/s │ ├─────────────────────────┼─────────┼───────────────────┤ │ Total Token Throughput │ stable │ 1043.8291 token/s │ ### 前置检查 - [x] 我已读懂主页文档的快速入门,无法解决问题 - [x] 我已检索过FAQ,无重复问题 - [x] 我已搜索过现有Issue,无重复问题 - [x] 我已更新到最新版本,问题仍存在
评论 (
2
)
登录
后才可以发表评论
状态
已完成
待办的
进行中
已完成
已关闭
负责人
未设置
标签
bug
未设置
标签管理
里程碑
未关联里程碑
未关联里程碑
Pull Requests
未关联
未关联
关联的 Pull Requests 被合并后可能会关闭此 issue
分支
未关联
分支 (
-
)
标签 (
-
)
开始日期   -   截止日期
-
置顶选项
不置顶
置顶等级:高
置顶等级:中
置顶等级:低
优先级
不指定
严重
主要
次要
不重要
参与者(3)
1
https://gitee.com/aisbench/benchmark.git
git@gitee.com:aisbench/benchmark.git
aisbench
benchmark
benchmark
点此查找更多帮助
搜索帮助
Git 命令在线学习
如何在 Gitee 导入 GitHub 仓库
Git 仓库基础操作
企业版和社区版功能对比
SSH 公钥设置
如何处理代码冲突
仓库体积过大,如何减小?
如何找回被删除的仓库数据
Gitee 产品配额说明
GitHub仓库快速导入Gitee及同步更新
什么是 Release(发行版)
将 PHP 项目自动发布到 packagist.org
评论
仓库举报
回到顶部
登录提示
该操作需登录 Gitee 帐号,请先登录后再操作。
立即登录
没有帐号,去注册