华为深度学习框架MindSpore正式开源：自动微分不止计算图

• 基于静态计算图的转换：将网络在编译时转换为静态数据流图，然后将链式法则应用于数据流图，并实现自动微分。

• 基于动态计算图的转换：以操作符重载的方式记录网络在前向执行时操作轨迹，然后将链式法则应用于动态生成的数据流图，并实现自动微分。

• 基于源码转换：该技术源以函数式编程框架为基础，以即时编译（JIT）的方式在中间表达（编译过程中程序的表达形式）上做自动微分变换，支持复杂控制流场景、高阶函数和闭包。

import numpy as np
import mindspore.context as context
import mindspore.nn as nn
from mindspore import Tensor

# Initialize the network
net = Net()
x = Tensor(np.random.rand(1, 1, 4, 1024).astype(np.float32))

# Predict the network in PyNative mode, by default
out = net(x)

# Change to Graph mode to predict the network
context.set_context(mode=context.GRAPH_MODE)
out = net(x)

import os
from mindspore import context
from mindspore.communication.management import init


if __name__ == "__main__":
 context.set_context(mode=context.GRAPH_MODE, 
 device_target="Ascend", 
 enable_hccl=True, 
 device_id=int(os.environ["DEVICE_ID"]))
 init()
 ...