华为ModelArts分布式训练教程

一、参考资料

在ModelArts进行分布式训练

华为云ModelArts上开启分布式多卡训练(诺亚NEZHA-finetune模型)

二、关键步骤

本教程以 Swin-Transformer 为例，介绍用ModelArts进行分布式训练。

2.1 下载源码

Swin-Transformer

2.2 准备工作

参考 ModelZoo 的 Swin-Transformer。

2.2.1 注意事项

1. obs目录结构
   

2. 数据集目录结构
   

2.2.2 准备数据集

【ModelArts系列】华为ModelArts Notebook训练yolov3模型（开发环境）

【ModelArts系列】华为ModelArts训练yolov3模型（训练作业）

2.3 创建算法

2.4 创建训练作业

2.5 资源占用情况

2.6 分布式训练效果

单卡训练

4卡训练

三、分布式样例（其他破模型）

3.1 lenet样例

3.1.1 单卡训练

3.1.2 2卡训练

3.1.3 修改规格

3.2 yolov5样例

3.2.1 单卡训练

3.2.2 4卡训练

3.2.3 修改规格

3.2.4 训练日志文件

ModelArts分布式训练yolov5日志文件

四、FAQ

Q：获取输入数据大小失败

错误原因：
未知
1
2

Q：创建分布式训练作业失败

错误原因:
Ascend芯片资源不足，无法分配资源

解决办法：
等资源充裕的时候再申请多芯片资源
1
2
3
4
5

Q：swin_config 路径错误

错误原因：
`swin_config` 路径错误

解决办法：
修改 `swin_config` 参数

obs://lljyoyo-demo/cswin-transformer/Swin-Transformer_for_MindSpore_1.1_code/src/configs
改为
obs://lljyoyo-demo/cswin-transformer/Swin-Transformer_for_MindSpore_1.1_code/src/configs/swin_tiny_patch4_window7_224.yaml
1
2
3
4
5
6
7
8
9