代码拉取完成,页面将自动刷新
本文介绍MindSpore的环境变量。
环境变量 | 所属模块 | 功能 | 类型 | 取值范围 | 配置关系 | 是否必选 | 默认值 |
---|---|---|---|---|---|---|---|
MS_BUILD_PROCESS_NUM | MindSpore | Ascend后端编译时,指定并行编译进程数 | Integer | 1~24:允许设置并行进程数取值范围 | 无 | 可选(仅Ascend AI处理器环境使用) | 无 |
MS_COMPILER_CACHE_PATH | MindSpore | MindSpore编译缓存目录,存储编译过程生成的缓存文件,如kernel_meta ,somas_meta 等 |
String | 缓存文件路径,支持相对路径与绝对路径 | 无 | 可选 | 无 |
MS_COMPILER_OP_LEVEL | MindSpore | Ascend后端编译时,开启debug功能,生成TBE指令映射文件 | Integer | 0或1,允许设置级别取值范围。0:不开启算子debug功能。1:生成TBE指令映射文件(cce文件*.cce和python-cce映射文件*_loc.json,同时关闭编译优化开关) | 无 | 可选(仅Ascend AI处理器环境使用) | 无 |
MS_GRAPH_KERNEL_FLAGS | MindSpore | 图算融合功能的控制选项,可用来开启或关闭图算融合功能、支持对图算融合功能中若干优化的精细控制、支持dump图算融合时的过程数据,用于问题定位和性能调优 | String | 格式和功能同mindspore/context.py中graph_kernel_flags。 注:环境变量优先级高于context,即,若同时设置环境变量和context,则只有环境变量中的设置生效 |
无 | 可选 | 无 |
RANK_TABLE_FILE | MindSpore | 路径指向文件,包含指定多Ascend AI处理器环境中Ascend AI处理器的"device_id"对应的"device_ip"。 | String | 文件路径,支持相对路径与绝对路径 | 与RANK_SIZE配合使用 | 可选(Ascend AI处理器,使用多卡执行分布式用例时,由用户指定) | 无 |
RANK_SIZE | MindSpore | 指定深度学习时调用Ascend AI处理器的数量 | Integer | 1~8,调用Ascend AI处理器的数量 | 与RANK_TABLE_FILE配合使用 | 可选(Ascend AI处理器,使用多卡执行分布式用例时,由用户指定) | 无 |
RANK_ID | MindSpore | 指定深度学习时调用Ascend AI处理器的逻辑ID | Integer | 0~7,多机并行时不同server中DEVICE_ID会有重复,使用RANK_ID可以避免这个问题(多机并行时 RANK_ID = SERVER_ID * DEVICE_NUM + DEVICE_ID | 无 | 可选 | 无 |
MS_RDR_ENABLE | MindSpore | 是否开启程序运行数据记录器(RDR),如果MindSpore出现了运行异常,会自动导出MindSpore中预先记录的数据以辅助定位运行异常的原因 | Integer | 1:开启RDR功能 0:关闭RDR功能 |
与MS_RDR_PATH一起使用 | 可选 | 无 |
MS_RDR_PATH | MindSpore | 配置程序运行数据记录器(RDR)的文件导出的根目录路径 | String | 目录路径,仅支持绝对路径 | 与MS_RDR_ENABLE=1 一起使用,最终RDR文件将保存在${MS_RDR_PATH}/rank_${RANK_ID}/rdr/ 目录下。其中RANK_ID 为多卡训练场景中的卡号,单卡场景默认RANK_ID=0 。 |
可选 | 无 |
GLOG_v | MindSpore | 日志功能与用法 | Integer | 0-DEBUG 1-INFO 2-WARNING 3-ERROR |
无 | 可选 | 2 |
GLOG_logtostderr | MindSpore | 日志功能与用法 | Integer | 1:日志输出到屏幕 0:日志输出到文件 |
与GLOG_log_dir一起使用 | 可选 | 1 |
GLOG_log_dir | MindSpore | 日志功能与用法 | String | 文件路径,支持相对路径与绝对路径 | 与GLOG_logtostderr一起使用 | 可选 | 无 |
GLOG_log_max | MindSpore | 日志功能与用法 | Integer | 正整数 | 无 | 可选 | 50 |
MS_SUBMODULE_LOG_v | MindSpore | 日志功能与用法 | Dict{String:Integer...} | LogLevel: 0-DEBUG, 1-INFO, 2-WARNING, 3-ERROR SubModual: COMMON, MD, DEBUG, DEVICE, COMMON, IR... |
无 | 可选 | 无 |
GLOG_stderrthreshold | MindSpore | 日志功能与用法 | Integer | 0-DEBUG 1-INFO 2-WARNING 3-ERROR |
无 | 可选 | 2 |
OPTION_PROTO_LIB_PATH | MindSpore | RPOTO依赖库库路径 | String | 目录路径,支持相对路径与绝对路径 | 无 | 可选 | 无 |
MS_OM_PATH | MindSpore | 配置task异常时dump数据路径以及图编译出错时dump的analyze_fail.dat文件的保存目录,保存路径为:指定的路径/rank_${rand_id}/om | String | 文件路径,支持相对路径与绝对路径 | 无 | 可选 | 无 |
MINDSPORE_DUMP_CONFIG | MindSpore | 指定云侧Dump功能或端侧Dump功能所依赖的配置文件的路径 | String | 文件路径,支持相对路径与绝对路径 | 无 | 可选 | 无 |
MS_ENABLE_CACHE | MindData | 是否开启dataset数据处理cache功能,可以实现数据处理过程中数据的cache能力,加速数据集读取及增强处理 | String | TRUE:开启数据处理cache功能 FALSE:关闭数据处理cache功能 |
与MS_CACHE_HOST、MS_CACHE_PORT一起使用 | 可选 | 无 |
MS_CACHE_HOST | MindData | 开启cache时,cache服务所在的IP | String | Cache Server所在机器的IP | 与MS_ENABLE_CACHE=TRUE、MS_CACHE_PORT一起使用 | 可选 | 无 |
MS_CACHE_PORT | MindData | 开启cache时,cache服务所在的端口 | String | Cache Server所在机器的端口 | 与MS_ENABLE_CACHE=TRUE、MS_CACHE_HOST一起使用 | 可选 | 无 |
DATASET_ENABLE_NUMA | MindData | 是否开启numa绑核功能,在大多数分布式场景下numa绑核都能提升数据处理效率和端到端性能 | String | True: 开启numa绑核功能 | 与libnuma.so配合使用 | 可选 | 无 |
OPTIMIZE | MindData | 是否执行dataset数据处理 pipeline 树优化,在适合数据处理算子融合的场景下,可以提升数据处理效率 | String | true: 开启pipeline树优化 false: 关闭pipeline树优化 |
无 | 可选 | 无 |
ENABLE_MS_DEBUGGER | Debugger | 是否在训练中启动Debugger | Boolean | 1:开启Debugger 0:关闭Debugger |
与MS_DEBUGGER_HOST、MS_DEBUGGER_PORT一起使用 | 可选 | 无 |
MS_DEBUGGER_HOST | Debugger | MindInsight Debugger服务的IP | String | 启动MindInsight调试器的机器的IP | 与ENABLE_MS_DEBUGGER=1、MS_DEBUGGER_PORT一起使用 | 可选 | 无 |
MS_DEBUGGER_PORT | Debugger | 连接MindInsight Debugger Server的端口 | Integer | 1~65536,连接MindInsight Debugger Server的端口 | 与ENABLE_MS_DEBUGGER=1、MS_DEBUGGER_HOST一起使用 | 可选 | 无 |
MS_DEBUGGER_PARTIAL_MEM | Debugger | 是否开启部分内存复用(只有在Debugger选中的节点才会关闭这些节点的内存复用) | Boolean | 1:开启Debugger选中节点的内存复用 0:关闭Debugger选中节点的内存复用 |
无 | 可选 | 无 |
GRAPH_OP_RUN | MindSpore | 图模式下以任务下沉方式运行pipeline大网络模型时,可能会由于流资源限制而无法正常启动,此环境变量可以指定图模式的执行方式,配置为0表示任务下沉,是默认执行方式;1则表示非任务下沉方式,该方式没有流的限制,但性能有所下降。 | Integer | 0:执行任务下沉 1:执行非任务下沉 |
无 | 可选 | 无 |
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。