diff --git "a/docs/ModelArts\344\272\221\344\270\212\350\256\255\347\273\203\346\214\207\345\274\225.md" "b/docs/ModelArts\344\272\221\344\270\212\350\256\255\347\273\203\346\214\207\345\274\225.md" new file mode 100644 index 0000000000000000000000000000000000000000..7ca8a726f8cf47536096669a2842b013dc386d65 --- /dev/null +++ "b/docs/ModelArts\344\272\221\344\270\212\350\256\255\347\273\203\346\214\207\345\274\225.md" @@ -0,0 +1,124 @@ +# ModelArts云上训练指引 + +- [创建OBS桶](#1) + +- [创建算法](#2) + +- [创建训练作业](#3) + +- [查看训练任务日志](#4) + + + +## 创建OBS桶 + +1. 登录[OBS管理控制台](https://storage.huaweicloud.com/obs/?region=cn-north-4#/obs/manager/buckets "OBS管理控制台")，创建OBS桶。具体请参见[创建桶](https://support.huaweicloud.com/usermanual-obs/obs_03_0306.html "创建桶")章节。如[图1 创建桶](#6)所示：
+ **图1** 创建桶
+ 创建桶
+ + > **说明：**
+ >创建桶的区域需要与ModelArts所在的区域一致。
+ >例如，当前ModelArts在华北-北京四区域，在对象存储服务创建桶时，请选择华北-北京四。
+ +2. 创建用于存放数据的文件夹，具体请参见[新建文件夹](https://support.huaweicloud.com/usermanual-obs/obs_03_0316.html "新建文件夹")章节。如[图2 obs桶目录结构](#7)所示：
+ **图2** obs桶目录结构
+ obs桶目录
+ >**目录结构说明：**
+ >- code：存放训练脚本目录。
+ >- data：存放训练数据集目录。
+ >- logs：存放训练日志目录。
+ >- output：存放训练生成ckpt和air模型目录。
+ >- preckpt：存放预训练模型目录。
+ +3. 将代码包文件夹上传至“code”目录，数据集上传至“data”目录，若有预训练模型上传至“preckpt”目录。
+ + + + +## 创建算法 + +1. 使用华为云帐号登录[ModelArts管理控制台](https://console.huaweicloud.com/modelarts/?region=cn-north-4 "ModelArts管理控制台")，在左侧导航栏中选择“算法管理”。如[图3 算法管理](#8)所示：
+ **图3** 算法管理
+ 算法管理
+ +2. 在“我的算法”界面，单击左上角“创建”，进入“创建算法”页面。如[图4 创建算法](#9)所示：
+ **图4** 创建算法
+ 创建算法
+ +3. 在“创建算法”页面，填写相关参数，然后单击“提交”。如[图5 填写算法相关参数](#10)所示：
+ **图5** 填写算法相关参数
+ 创建算法1
+ >**说明：**
+ >- 设置算法基本信息。
+ >- 设置“创建方式”为“自定义脚本”。
+ >- 用户需根据实际算法代码情况设置“AI引擎”、“代码目录”和“启动文件”。选择的AI引擎和编写算法代码时选择的框架必须一致。例如，编写算法代码使用的是MindSpore，则在创建算法时也要选择MindSpore。
+ >- 单击“增加超参”，手动添加超参。配置代码中的命令行参数值，请根据您编写的算法代码逻辑进行填写，确保参数名称和代码的参数名称保持一致。可填写多个参数。
+ + **表 1** 创建算法参数表 + + | 参数名称 | 说明 | + | ------------ | ------------------------------------------------------------ | + | AI引擎 | Ascend-Powered-Engine，mindspore_1.6.0-cann_5.0.4 | + | 代码目录 | 算法代码存储的OBS路径，如“/obs桶名称/mindspore-dataset/code/YOLOv4_for_MindSpore\_{version}_code” | + | 启动文件 | 启动训练的Python脚本，如“/obs桶名称/mindspore-dataset/code/YOLOv4_for_MindSpore_{version}_code/modelarts.py”。
须知：需要把“modelart/”目录下的modelarts.py启动脚本拷贝到根目录下。 | + | 输入数据配置 | 代码路径参数：“data_url” | + | 输入数据配置 | 代码路径参数：“checkpoint_url” | + | 输出数据配置 | 代码路径参数：“train_url” | + + + + +## 创建训练作业 + +1. 使用华为云帐号登录[ModelArts管理控制台](https://console.huaweicloud.com/modelarts/?region=cn-north-4 "ModelArts管理控制台")，在左侧导航栏中选择“训练管理” > “训练作业”，默认进入“训练作业”列表。如[图6 训练作业](#11)所示：
+ **图6** 训练作业
+ 训练管理
+ +2. 在“训练作业”界面，单击右上角“创建训练作业”，进入“创建训练作业”页面。如[图7 创建训练作业](#12)所示：
+ **图7** 创建训练作业
+ 创建训练作业
+ +3. 在“创建训练作业”页面，填写训练作业相关参数，然后单击“提交”。如[图8 填写训练作业相关参数](#12)所示：
+ **图8** 填写训练作业相关参数
+ 创建训练作业1
+ >**说明：**
+ >- 填写基本信息, 包含“名称”和“描述”。
+ >- 填写作业参数，包含数据来源、算法来源等关键信息。本步骤只提供训练任务部分参数配置说明，其他参数配置详情请参见《[ModelArts AI 工程师用户指南](https://support.huaweicloud.com/modelarts/index.html "ModelArts AI 工程师用户指南")》中“训练模型”。
+ >- 单击“提交”，完成训练作业的创建。
+ >- 训练作业一般需要运行一段时间，根据您选择的数据量和资源不同，训练时间将耗时几分钟到几十分钟不等。
+ + **表 2** 创建训练作业参数表 + + |参数名称 |子参数 |说明 | + |--- |--- |--- | + |算法 |我的算法 |选择“我的算法”页签，勾选上文中创建的算法。如果没有创建算法，请单击“创建”进入创建算法页面，详细操作指导参见“创建算法”。| + |训练输入 |数据来源 |选择OBS上数据集存放的目录。| + |训练输出 |模型输出 |选择训练结果的存储位置（OBS路径），请尽量选择空目录来作为训练输出路径。 | + |规格 |- |Ascend: 1*Ascend 910(32GB) | ARM: 24 核 96GB | + |作业日志路径 |- |设置训练日志存放的目录。请注意选择的OBS目录有读写权限。| + + + + +## 查看训练任务日志 + +1. 在ModelArts管理控制台，在左侧导航栏中选择“训练管理” > “训练作业”，默认进入“训练作业”列表。如[图9 训练作业列表](#13)所示：
+ **图9** 训练作业列表
+ 训练作业列表
+ +2. 在训练作业列表中，您可以单击作业名称，查看该作业的详情。 +- 详情中包含作业的基本信息、训练参数、日志详情和资源占用情况。如[图10 检查训练作业日志](#14)所示：
+ **图10** 检查训练作业日志
+ 日志
+ +- 成功生成air模型。如[图11 检查保存的air模型](#15)所示：
+ **图11** 检查保存的air模型
+ ckpt_air1
+ +- 成功生成ckpt模型。如[图12 检查保存的ckpt模型](#16)所示：
+ **图12** 检查保存的ckpt模型
+ ckpt_air2
+ +- 成功保存训练日志。如[图13 检查保存的训练日志](#17)所示：
+ **图13** 检查保存的训练日志
+ 保存训练日志
diff --git "a/images/ModelArts\344\272\221\344\270\212\350\256\255\347\273\203\346\214\207\345\274\225/ckpt_air1.png" "b/images/ModelArts\344\272\221\344\270\212\350\256\255\347\273\203\346\214\207\345\274\225/ckpt_air1.png" new file mode 100644 index 0000000000000000000000000000000000000000..7d39ede1ceaadda0d878dce5b1d2bdce3d8fb288 Binary files /dev/null and "b/images/ModelArts\344\272\221\344\270\212\350\256\255\347\273\203\346\214\207\345\274\225/ckpt_air1.png" differ diff --git "a/images/ModelArts\344\272\221\344\270\212\350\256\255\347\273\203\346\214\207\345\274\225/ckpt_air2.png" "b/images/ModelArts\344\272\221\344\270\212\350\256\255\347\273\203\346\214\207\345\274\225/ckpt_air2.png" new file mode 100644 index 0000000000000000000000000000000000000000..5d23c0f1e4fd516d3505dc8a86815d5414434b4d Binary files /dev/null and "b/images/ModelArts\344\272\221\344\270\212\350\256\255\347\273\203\346\214\207\345\274\225/ckpt_air2.png" differ diff --git "a/images/ModelArts\344\272\221\344\270\212\350\256\255\347\273\203\346\214\207\345\274\225/obs\346\241\266\347\233\256\345\275\225.png" "b/images/ModelArts\344\272\221\344\270\212\350\256\255\347\273\203\346\214\207\345\274\225/obs\346\241\266\347\233\256\345\275\225.png" new file mode 100644 index 0000000000000000000000000000000000000000..753c8ed54de3a46a3b418c288409296494461f7b Binary files /dev/null and "b/images/ModelArts\344\272\221\344\270\212\350\256\255\347\273\203\346\214\207\345\274\225/obs\346\241\266\347\233\256\345\275\225.png" differ diff --git "a/images/ModelArts\344\272\221\344\270\212\350\256\255\347\273\203\346\214\207\345\274\225/\344\277\235\345\255\230\350\256\255\347\273\203\346\227\245\345\277\227.png" "b/images/ModelArts\344\272\221\344\270\212\350\256\255\347\273\203\346\214\207\345\274\225/\344\277\235\345\255\230\350\256\255\347\273\203\346\227\245\345\277\227.png" new file mode 100644 index 0000000000000000000000000000000000000000..a2412998f2c98dae4b4402eee4385ed12dcfb127 Binary files /dev/null and "b/images/ModelArts\344\272\221\344\270\212\350\256\255\347\273\203\346\214\207\345\274\225/\344\277\235\345\255\230\350\256\255\347\273\203\346\227\245\345\277\227.png" differ diff --git "a/images/ModelArts\344\272\221\344\270\212\350\256\255\347\273\203\346\214\207\345\274\225/\345\210\233\345\273\272\346\241\266.png" "b/images/ModelArts\344\272\221\344\270\212\350\256\255\347\273\203\346\214\207\345\274\225/\345\210\233\345\273\272\346\241\266.png" new file mode 100644 index 0000000000000000000000000000000000000000..013aa3b2155f3b45dfa2589af3f5fff5f4daa597 Binary files /dev/null and "b/images/ModelArts\344\272\221\344\270\212\350\256\255\347\273\203\346\214\207\345\274\225/\345\210\233\345\273\272\346\241\266.png" differ diff --git "a/images/ModelArts\344\272\221\344\270\212\350\256\255\347\273\203\346\214\207\345\274\225/\345\210\233\345\273\272\347\256\227\346\263\225.png" "b/images/ModelArts\344\272\221\344\270\212\350\256\255\347\273\203\346\214\207\345\274\225/\345\210\233\345\273\272\347\256\227\346\263\225.png" new file mode 100644 index 0000000000000000000000000000000000000000..f1c04a0eef4d6d447382664539674ddf132f271e Binary files /dev/null and "b/images/ModelArts\344\272\221\344\270\212\350\256\255\347\273\203\346\214\207\345\274\225/\345\210\233\345\273\272\347\256\227\346\263\225.png" differ diff --git "a/images/ModelArts\344\272\221\344\270\212\350\256\255\347\273\203\346\214\207\345\274\225/\345\210\233\345\273\272\347\256\227\346\263\2251.png" "b/images/ModelArts\344\272\221\344\270\212\350\256\255\347\273\203\346\214\207\345\274\225/\345\210\233\345\273\272\347\256\227\346\263\2251.png" new file mode 100644 index 0000000000000000000000000000000000000000..29ef5adb6d84aac06bfc9210c7184c000a3b1b15 Binary files /dev/null and "b/images/ModelArts\344\272\221\344\270\212\350\256\255\347\273\203\346\214\207\345\274\225/\345\210\233\345\273\272\347\256\227\346\263\2251.png" differ diff --git "a/images/ModelArts\344\272\221\344\270\212\350\256\255\347\273\203\346\214\207\345\274\225/\345\210\233\345\273\272\350\256\255\347\273\203\344\275\234\344\270\232.png" "b/images/ModelArts\344\272\221\344\270\212\350\256\255\347\273\203\346\214\207\345\274\225/\345\210\233\345\273\272\350\256\255\347\273\203\344\275\234\344\270\232.png" new file mode 100644 index 0000000000000000000000000000000000000000..211debbb730a51a61677e029196a69898e0e6f0c Binary files /dev/null and "b/images/ModelArts\344\272\221\344\270\212\350\256\255\347\273\203\346\214\207\345\274\225/\345\210\233\345\273\272\350\256\255\347\273\203\344\275\234\344\270\232.png" differ diff --git "a/images/ModelArts\344\272\221\344\270\212\350\256\255\347\273\203\346\214\207\345\274\225/\345\210\233\345\273\272\350\256\255\347\273\203\344\275\234\344\270\2321.png" "b/images/ModelArts\344\272\221\344\270\212\350\256\255\347\273\203\346\214\207\345\274\225/\345\210\233\345\273\272\350\256\255\347\273\203\344\275\234\344\270\2321.png" new file mode 100644 index 0000000000000000000000000000000000000000..368edf3a7413189a8bc41cab973e9d5b9b874573 Binary files /dev/null and "b/images/ModelArts\344\272\221\344\270\212\350\256\255\347\273\203\346\214\207\345\274\225/\345\210\233\345\273\272\350\256\255\347\273\203\344\275\234\344\270\2321.png" differ diff --git "a/images/ModelArts\344\272\221\344\270\212\350\256\255\347\273\203\346\214\207\345\274\225/\346\227\245\345\277\227.png" "b/images/ModelArts\344\272\221\344\270\212\350\256\255\347\273\203\346\214\207\345\274\225/\346\227\245\345\277\227.png" new file mode 100644 index 0000000000000000000000000000000000000000..ee8b0c55cdda497ff79097ba4d5980fe8948bc19 Binary files /dev/null and "b/images/ModelArts\344\272\221\344\270\212\350\256\255\347\273\203\346\214\207\345\274\225/\346\227\245\345\277\227.png" differ diff --git "a/images/ModelArts\344\272\221\344\270\212\350\256\255\347\273\203\346\214\207\345\274\225/\347\256\227\346\263\225\347\256\241\347\220\206.png" "b/images/ModelArts\344\272\221\344\270\212\350\256\255\347\273\203\346\214\207\345\274\225/\347\256\227\346\263\225\347\256\241\347\220\206.png" new file mode 100644 index 0000000000000000000000000000000000000000..d93a87df574d904128ed9d5313ce0acc7a583ac0 Binary files /dev/null and "b/images/ModelArts\344\272\221\344\270\212\350\256\255\347\273\203\346\214\207\345\274\225/\347\256\227\346\263\225\347\256\241\347\220\206.png" differ diff --git "a/images/ModelArts\344\272\221\344\270\212\350\256\255\347\273\203\346\214\207\345\274\225/\350\256\255\347\273\203\344\275\234\344\270\232\345\210\227\350\241\250.png" "b/images/ModelArts\344\272\221\344\270\212\350\256\255\347\273\203\346\214\207\345\274\225/\350\256\255\347\273\203\344\275\234\344\270\232\345\210\227\350\241\250.png" new file mode 100644 index 0000000000000000000000000000000000000000..3d356c58536d8d4c3ff3e36851d694f9f063558a Binary files /dev/null and "b/images/ModelArts\344\272\221\344\270\212\350\256\255\347\273\203\346\214\207\345\274\225/\350\256\255\347\273\203\344\275\234\344\270\232\345\210\227\350\241\250.png" differ diff --git "a/images/ModelArts\344\272\221\344\270\212\350\256\255\347\273\203\346\214\207\345\274\225/\350\256\255\347\273\203\347\256\241\347\220\206.png" "b/images/ModelArts\344\272\221\344\270\212\350\256\255\347\273\203\346\214\207\345\274\225/\350\256\255\347\273\203\347\256\241\347\220\206.png" new file mode 100644 index 0000000000000000000000000000000000000000..ddfd3509ef462ad96288eb044fd53a0ab0e748fb Binary files /dev/null and "b/images/ModelArts\344\272\221\344\270\212\350\256\255\347\273\203\346\214\207\345\274\225/\350\256\255\347\273\203\347\256\241\347\220\206.png" differ