MindSpore1.6这个版本确实开发了比较长的时间,原因有两个:
所以说跳票本身不是一个坏事。
下面,我想介绍一下MindSpore1.6的一些大的改进:
经过长达一年的设计和开发,静态图控制流的架构终于稳定了,采用了创新的闭包方案,以前存在的不支持副作用、子图膨胀等问题都得到了解决。
例如:AirNet网络子图数量由原来的162个降低至46个,减少了大量冗余计算,执行性能由12.3s/epoch优化至5.8s/epoch。
AirNet网络优化前后子图数量与执行性能对比
BFGS网络子图数量由原来的3236个降低至91个,执行性能由4.9s/epoch优化至0.6s/epoch。
我们原来在电信设备里面有一个支持异构的实时运行时,特点是资源占用少、性能高、支持异构芯片的调度;这次MindSpore重用了这个能力,基于此构建端边云统一的运行时,既能在手机上跑,也能在数据中心跑;同时我们在运行时上面增加了一个scheduler,实现算子、子图等灵活的调度模型。
大家知道Python下面动态图到静态图转换一直存在很多困难,对研究到产业部署带来了很多不便,MindSpore1.6初步构建了JIT Fallback的能力,在Python AST转换到静态图的时候,如果有不认识的语法可以fallback到Python解释器,实现更多语法的兼容,这个特性当前还在持续完善中,不过已经取得了不错的效果。
由于积累时间短,MindSpore当前在算子支持方面还是相对薄弱的,MindSpore内置的静态的算子库可能无法满足用户的需求,之前版本的MindSpore的自定义算子功能也存在着平台覆盖不到位,开发过程繁琐及第三方算子接入困难的问题。为了提供更好的自定义算子体验,1.6版本全面升级了自定义算子的能力,提供支撑包括Ascend,GPU和CPU在内的多平台的统一算子开发接口Custom,帮助用户在MindSpore方便快捷地进行不同类型自定义算子的定义和使用,可以满足包括快速验证,实时编译和第三方算子接入等不同场景下的用户需求。
查看文档: