pytorch指定使用多个GPU

方式一：指定使用所有GPU

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
 
model = CreateModel()
 
model= nn.DataParallel(model)
model.to(device)

方式二：结合系统环境变量使用特定的GPU

CUDA_VISIBLE_DEVICES=1,3
 
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
 
model = CreateModel()
 
model= nn.DataParallel(model)
model.to(device)

方式三：直接指定特定的GPU

device = torch.device("cuda:1,3" if torch.cuda.is_available() else "cpu") ## specify the GPU id's, GPU id's start from 0.
 
model = CreateModel()
 
model= nn.DataParallel(model,device_ids = [1, 3])
model.to(device)

以上所有情况中，后面使用的数据都要映射到对应的GPU设备。

如果x,y是数据：

X.to(device)
y.to(device)