【Pytorch实用教程】如何在多个GPU上使用分布式数据并行进行训练模型

1. 代码（可直接运行，含随机生成的训练数据）

以下是一个基于PyTorch的多GPU分布式运算的简单示例代码。这个示例展示了如何在多个GPU上使用分布式数据并行进行训练。

import torch
import torch.nn as nn
import torch.optim as optim
import torch.multiprocessing as mp
import torch.distributed as dist
from torch.nn.parallel import DistributedDataP