197 Star 1.3K Fork 1.2K

GVPAscend/MindSpeed-LLM

加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
文件
克隆/下载
profiling.md 1.43 KB
一键复制 编辑 原始数据 按行查看 历史
jzh 提交于 3个月前 . !2673docs readme modify

MindSpeed-LLM支持基于昇腾芯片采集profiling数据,以提供对模型运行情况的分析,主要API如下:

--profile                        # 打开profiling采集数据开关
--profile-export-type            # 指定导出的性能数据结果文件格式, db, text, 默认text格式
--profile-data-simplification    # 使用数据精简模式
--profile-step-start  5          # 指定开启采集数据的步骤
--profile-step-end 6             # 指定结束采集数据的步骤,实际采集步数为 end-start,不包含end
--profile-ranks 0 1 2 3 4        # 指定采集数据的卡号,默认为-1,表示采集所有rank的profiling数据,可以设置为 0 1 2 3 4 5 6 7 8 9 列表指定全局卡号
--profile-level level2           # 数据采集水平,level_none, level0, 1, 2, 级别越高采集信息越多,默认为level0
--profile-with-cpu               # 是否采集CPU数据,加入参数采集
--profile-with-stack             # 采集指令运行堆栈,加入参数采集
--profile-with-memory            # 是否采集内存,加入参数采集
--profile-record-shapes          # 是否采集计算shape,加入参数采集
--profile-save-path ./profile_dir    # profiling数据采集保存路径

注意: 1.--profile-level设置为level_none时,不会采集cann侧数据,且暂不支持与--export-type db一起使用 2.请更新最新8.0.RC3 cann包后使用level_none及export-type功能

Loading...
马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化
Python
1
https://gitee.com/ascend/MindSpeed-LLM.git
git@gitee.com:ascend/MindSpeed-LLM.git
ascend
MindSpeed-LLM
MindSpeed-LLM
2.1.0

搜索帮助