【2023 · CANN训练营第一季】基于昇腾910的TF网络脚本训练（ModelArts平台）

• 准备工作:
  1.注册华为云账号，获取AK/SAK，授权ModelArts，并申请华为云代金券
  2.获取训练数据集，并进行数据预处理，比如离线制作成tfrecords(建议，可选)
  3.将数据集(训练脚本)上传到OBS
  4.安装PycharmIDE及ToolKit插件
  5.对Tensorflow训练代码进行NPU的迁移&适配

• 创建并提交训练任务
  1.Pycharm打开训练工程代码，配置训练参数，下发训练任务
  2.查看训练结果
  创建并提交训练任务
  1.Pycharm打开训练工程代码，配置训练参数，下发训练任务
  2.查看训练结果
  Modelarts官网教程:Modelarts官网教程
  OBS Browser+下载:OBS Browser+下载
  ModelArts管理控制台: ModelArts管理控制台

OBS/ModelArts/Pycharm的关系

ModelArts平台:它是华为云面向A开发者的一站式开发平台，开发者可以在云上进行数据处理、模型训练以及模型部署等操作，但它自身不具备存储服务。
对象存储服务(Object Storage Service，OBS):它是一个基于对象的海量存储服务，为客户提供海量安全、高可靠、低成本的数据存储能力
Pycharm插件ToolKit:为开发者快速的将本地代码提交到公有云的训练环境，协助用户完成代码上传提交训练作业、将训练日志获取到本地展示等，用户只需要专注于本地的代码开发即可。

准备工作

申请代金券

数据集获取

数据集预处理

下载好的数据集一般为原始格式，训练时我们需要将其转换为tfrecord格式进行训练。有的训练脚本数据集小，将转换代码直接写在训练脚本中，读取原始格式的数据集，例如Bert-Finetune的squad阅读理解任务:
但是通常对于大多数训练任务，数据集比较大，例如Resnet的ImageNet数据集124GBert-Pretrain的Wiki数据集340G。这些训练脚本会提供已有的数据预处理脚本，提前将数据集预处理并生成tfrecord。

注意：数据集需要上传至华北-北京四。

下载OBS:
OBS 工具
安装PyCharm toolkit

在PyCharm中配置AK和SK

在PyCharm右下角出现下列提示则说明成功：

安装OBS

登录OBS：