• MindSpore是一种适用于端边云场景的新型开源深度学习训练/推理框架


    MindSpore是一种适用于端边云场景的新型开源深度学习训练/推理框架。 MindSpore提供了友好的设计和高效的执行,旨在提升数据科学家和算法工程师的开发体验,并为Ascend AI处理器提供原生支持,以及软硬件协同优化。

    同时,MindSpore作为全球AI开源社区,致力于进一步开发和丰富AI软硬件应用生态。

    欲了解更多详情,请查看我们的总体架构

    自动微分

    当前主流深度学习框架中有两种自动微分技术:

    • 操作符重载法: 通过操作符重载对编程语言中的基本操作语义进行重定义,封装其微分规则。 在程序运行时记录算子过载正向执行时网络的运行轨迹,对动态生成的数据流图应用链式法则,实现自动微分。
    • 代码变换法: 该技术是从功能编程框架演进而来,以即时编译(Just-in-time Compilation,JIT)的形式对中间表达式(程序在编译过程中的表达式)进行自动差分转换,支持复杂的控制流场景、高阶函数和闭包。

    PyTorch采用的是操作符重载法。相较于代码变换法,操作符重载法是在运行时生成微分计算图的, 无需考虑函数调用与控制流等情况, 开发更为简单。 但该方法不能在编译时刻做微分图的优化, 控制流也需要根据运行时的信息来展开, 很难实现性能的极限优化。

    MindSpore则采用的是代码变换法。一方面,它支持自动控制流的自动微分,因此像PyTorch这样的模型构建非常方便。另一方面,MindSpore可以对神经网络进行静态编译优化,以获得更好的性能。

    MindSpore自动微分的实现可以理解为程序本身的符号微分。MindSpore IR是一个函数中间表达式,它与基础代数中的复合函数具有直观的对应关系。复合函数的公式由任意可推导的基础函数组成。MindSpore IR中的每个原语操作都可以对应基础代数中的基本功能,从而可以建立更复杂的流控制。

    自动并行

    MindSpore自动并行的目的是构建数据并行、模型并行和混合并行相结合的训练方法。该方法能够自动选择开销最小的模型切分策略,实现自动分布并行训练。

    目前MindSpore采用的是算子切分的细粒度并行策略,即图中的每个算子被切分为一个集群,完成并行操作。在此期间的切分策略可能非常复杂,但是作为一名Python开发者,您无需关注底层实现,只要顶层API计算是有效的即可。

    安装

    pip方式安装

    MindSpore提供跨多个后端的构建选项:

    硬件平台操作系统状态
    Ascend 910Ubuntu-x86✔️
    Ubuntu-aarch64✔️
    EulerOS-aarch64✔️
    CentOS-x86✔️
    CentOS-aarch64✔️
    GPU CUDA 10.1Ubuntu-x86✔️
    CPUUbuntu-x86✔️
    Ubuntu-aarch64✔️
    Windows-x86✔️

    使用pip命令安装,以CPUUbuntu-x86build版本为例:

    1. 请从MindSpore下载页面下载并安装whl包。

      pip install https://ms-release.obs.cn-north-4.myhuaweicloud.com/1.2.0-rc1/MindSpore/cpu/ubuntu_x86/mindspore-1.2.0rc1-cp37-cp37m-linux_x86_64.whl
    2. 执行以下命令,验证安装结果。

      import numpy as np
      import mindspore.context as context
      import mindspore.nn as nn
      from mindspore import Tensor
      from mindspore.ops import operations as P
      
      context.set_context(mode=context.GRAPH_MODE, device_target="CPU")
      
      class Mul(nn.Cell):
          def __init__(self):
              super(Mul, self).__init__()
              self.mul = P.Mul()
      
          def construct(self, x, y):
              return self.mul(x, y)
      
      x = Tensor(np.array([1.0, 2.0, 3.0]).astype(np.float32))
      y = Tensor(np.array([4.0, 5.0, 6.0]).astype(np.float32))
      
      mul = Mul()
      print(mul(x, y))
      [ 4. 10. 18.]

    使用pip方式,在不同的环境安装MindSpore,可参考以下文档。

    源码编译方式安装

    使用源码编译方式,在不同的环境安装MindSpore,可参考以下文档。

    Docker镜像

    MindSpore的Docker镜像托管在Docker Hub上。 目前容器化构建选项支持情况如下:

    硬件平台Docker镜像仓库标签说明
    CPUmindspore/mindspore-cpux.y.z已经预安装MindSpore x.y.z CPU版本的生产环境。
    devel提供开发环境从源头构建MindSpore(CPU后端)。安装详情请参考https://www.mindspore.cn/install 。
    runtime提供运行时环境安装MindSpore二进制包(CPU后端)。
    GPUmindspore/mindspore-gpux.y.z已经预安装MindSpore x.y.z GPU版本的生产环境。
    devel提供开发环境从源头构建MindSpore(GPU CUDA10.1后端)。安装详情请参考https://www.mindspore.cn/install 。
    runtime提供运行时环境安装MindSpore二进制包(GPU CUDA10.1后端)。

    注意: 不建议从源头构建GPU devel Docker镜像后直接安装whl包。我们强烈建议您在GPU runtime Docker镜像中传输并安装whl包。

    • CPU

      对于CPU后端,可以直接使用以下命令获取并运行最新的稳定镜像:

      docker pull mindspore/mindspore-cpu:1.1.0
      docker run -it mindspore/mindspore-cpu:1.1.0 /bin/bash
    • GPU

      对于GPU后端,请确保nvidia-container-toolkit已经提前安装,以下是Ubuntu用户安装指南:

      DISTRIBUTION=$(. /etc/os-release; echo $ID$VERSION_ID)
      curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | apt-key add -
      curl -s -L https://nvidia.github.io/nvidia-docker/$DISTRIBUTION/nvidia-docker.list | tee /etc/apt/sources.list.d/nvidia-docker.list
      
      sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit nvidia-docker2
      sudo systemctl restart docker

      编辑文件 daemon.json:

      $ vim /etc/docker/daemon.json
      {
          "runtimes": {
              "nvidia": {
                  "path": "nvidia-container-runtime",
                  "runtimeArgs": []
              }
          }
      }

      再次重启docker:

      sudo systemctl daemon-reload
      sudo systemctl restart docker

      使用以下命令获取并运行最新的稳定镜像:

      docker pull mindspore/mindspore-gpu:1.1.0
      docker run -it -v /dev/shm:/dev/shm --runtime=nvidia --privileged=true mindspore/mindspore-gpu:1.1.0 /bin/bash

      要测试Docker是否正常工作,请运行下面的Python代码并检查输出:

      import numpy as np
      import mindspore.context as context
      from mindspore import Tensor
      from mindspore.ops import functional as F
      
      context.set_context(mode=context.PYNATIVE_MODE, device_target="GPU")
      
      x = Tensor(np.ones([1,3,3,4]).astype(np.float32))
      y = Tensor(np.ones([1,3,3,4]).astype(np.float32))
      print(F.tensor_add(x, y))
      [[[ 2.  2.  2.  2.],
      [ 2.  2.  2.  2.],
      [ 2.  2.  2.  2.]],
      
      [[ 2.  2.  2.  2.],
      [ 2.  2.  2.  2.],
      [ 2.  2.  2.  2.]],
      
      [[ 2.  2.  2.  2.],
      [ 2.  2.  2.  2.],
      [ 2.  2.  2.  2.]]]

    如果您想了解更多关于MindSpore Docker镜像的构建过程,请查看docker repo了解详细信息。

    快速入门

    参考快速入门实现图片分类。

    文档

    有关安装指南、教程和API的更多详细信息,请参阅用户文档

    社区

    治理

    查看MindSpore如何进行开放治理

    交流

    贡献

    欢迎参与贡献。更多详情,请参阅我们的贡献者Wiki

    分支维护策略

    MindSpore的版本分支有以下几种维护阶段:

    状态持续时间说明
    Planning1 - 3 months特性规划。
    Development3 months特性开发。
    Maintained6 - 12 months允许所有问题修复的合入,并发布版本。
    Unmaintained0 - 3 months允许所有问题修复的合入,无专人维护,不再发布版本。
    End Of Life (EOL)N/A不再接受修改合入该分支。

    现有分支维护状态

    分支名当前状态上线时间后续状态EOL 日期
    r1.9Maintained2022-10-26Unmaintained
    2023-10-26 estimated
    r1.8Maintained2022-07-29Unmaintained
    2023-07-29 estimated
    r1.7Maintained2022-04-29Unmaintained
    2023-04-29 estimated
    r1.6Maintained2022-01-29Unmaintained
    2023-01-29 estimated
    r1.5End Of Life2021-10-152022-10-15
    r1.4End Of Life2021-08-152022-08-15
    r1.3End Of Life2021-07-152022-07-15
    r1.2End Of Life2021-04-152022-04-29
    r1.1End Of Life2020-12-312021-09-30
    r1.0End Of Life2020-09-242021-07-30
    r0.7End Of Life2020-08-312021-02-28
    r0.6End Of Life2020-07-312020-12-30
    r0.5End Of Life2020-06-302021-06-30
    r0.3End Of Life2020-05-312020-09-30
    r0.2End Of Life2020-04-302020-08-31
    r0.1End Of Life2020-03-282020-06-30
  • 相关阅读:
    <C++>解密 构造函数和析构函数
    linux操作系统中的动静态库(未完)
    Java项目:ssm党员管理系统
    年薪6万美元/应届医学博士赴加州大学圣迭戈分校博士后就职
    多校联测11 THUSC
    用友YonSuite驶入快车道 SaaS数智飞轮驱动高效增长
    抖音新接口——关键词月搜查询 API
    AI助手-百度免费AI助手工具
    Java实现word转PDF
    (C++17) optional的使用
  • 原文地址:https://blog.csdn.net/china365love/article/details/127981675