CUDA_VISIBLE_DEVICES

import torch
import cupy as cp
# 指定使用的GPU设备
device_id = 3  # 使用第3号GPU
device = cp.cuda.Device(device_id)
device.use()

# Assuming your cupy array is a
# a_np = a.get()  # Transfer cupy array from GPU to CPU
# a_tensor = torch.from_numpy(a_np).cuda(3)  # Convert to PyTorch tensor and then move to GPU 3

# 使用CuPy生成一个变量
cupy_variable = cp.array([1, 2, 3])

# 将CuPy变量转换为PyTorch张量
torch_tensor = torch.as_tensor(cupy_variable).cuda(3)

# 现在你有了一个PyTorch张量（torch_tensor），可以在PyTorch中使用它
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

但是上面的代码在ipynb上进行运行的时候，它为啥会占好几张卡，我都指定了使用3号GPU

当您在Python脚本或Jupyter notebook中使用CUDA操作（无论是通过PyTorch、CuPy还是其他库），GPU内存可能会被占用。特定的行为可能取决于多种因素，包括环境设置和代码的特定操作。

这里有一些可能的原因和解决方案：

1. 默认行为：PyTorch可能会在第一次调用时初始化所有可用的GPU，即使您指定使用特定的GPU。

2. CUDA_VISIBLE_DEVICES环境变量：您可以使用此环境变量来限制Python进程看到的GPU。例如，要仅使第4个GPU（索引为3）对Python进程可见，您可以设置：
   export CUDA_VISIBLE_DEVICES=3
   在Jupyter notebook中，您可以在代码单元中运行以下命令来设置此环境变量：

import os 
os.environ["CUDA_VISIBLE_DEVIES"]="3"
1
2

3. PyTorch的设备管理：您可以使用torch.cuda.set_device(device_id)来明确设置希望PyTorch使用的设备。但请注意，这不会影响CuPy或其他库的行为。

4. 其他代码和库：请确保您的notebook中没有其他代码或库初始化或使用其他GPU。某些操作可能会在后台触发GPU的使用。

5. 多线程/多进程：确保没有其他线程或进程在使用其他GPU。在某些情况下，多线程或多进程操作可能会导致使用不预期的GPU。
   总的来说，最直接和可靠的方法可能是使用CUDA_VISIBLE_DEVICES来限制可见的GPU。这确保只有您指定的GPU对Python进程可见，从而避免占用其他GPU的内存。

import os
os.environ["CUDA_VISIBLE_DEVICES"] = "3"

import torch
import cupy as cp
# 指定使用的GPU设备
device_id = 3  # 使用第3号GPU
device = cp.cuda.Device(device_id)
device.use()

# Assuming your cupy array is a
# a_np = a.get()  # Transfer cupy array from GPU to CPU
# a_tensor = torch.from_numpy(a_np).cuda(3)  # Convert to PyTorch tensor and then move to GPU 3



# 使用CuPy生成一个变量
cupy_variable = cp.array([1, 2, 3])

# 将CuPy变量转换为PyTorch张量
torch_tensor = torch.as_tensor(cupy_variable).cuda(3)

# 现在你有了一个PyTorch张量（torch_tensor），可以在PyTorch中使用它
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

CUDARuntimeError: cudaErrorInvalidDevice: invalid device ordinal

错误 cudaErrorInvalidDevice: invalid device ordinal 说明您试图访问一个无效的GPU设备ID。

当您设置了 os.environ["CUDA_VISIBLE_DEVICES"] = "3"，您实际上是告诉CUDA只看到一个GPU，即设备ID为3的GPU。因此，对于您的Python进程来说，此GPU现在的设备ID为0。

解决这个问题的方法是：

1. 设置 os.environ["CUDA_VISIBLE_DEVICES"] = "3" 之后，您应该始终使用设备ID为0来引用此GPU。
2. 更改 device_id 为0，并相应地更新其他与此ID相关的代码。

下面是更正后的代码：

import os
os.environ["CUDA_VISIBLE_DEVICES"] = "3"

import torch
import cupy as cp

# 指定使用的GPU设备
device_id = 0  # 使用第3号GPU，但因为我们设置了CUDA_VISIBLE_DEVICES，所以在这里的ID是0
device = cp.cuda.Device(device_id)
device.use()

# 使用CuPy生成一个变量
cupy_variable = cp.array([1, 2, 3])

# 将CuPy变量转换为PyTorch张量
torch_tensor = torch.as_tensor(cupy_variable).cuda(device_id)  # 此处也使用device_id为0

# 现在你有了一个PyTorch张量（torch_tensor），可以在PyTorch中使用它

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19

export CUDA_VISIBLE_DEVICES=3
这个是在命令行执行还是写在py文件里面？

export CUDA_VISIBLE_DEVICES=3 是一个shell命令，用于设置环境变量。它应该在命令行中执行，而不是在Python脚本中。

如果您想在启动Python脚本之前设置此环境变量，您可以在命令行中这样做：

export CUDA_VISIBLE_DEVICES=3
python your_script.py

1
2
3

另一种方法是在一行中组合这两个命令：

CUDA_VISIBLE_DEVICES=3 python your_script.py

1
2

但是，如果您希望在Python脚本内部设置这个环境变量，您可以使用 os.environ：

import os
os.environ["CUDA_VISIBLE_DEVICES"] = "3"
1
2

请注意，如果在Python脚本中设置此环境变量，它只会影响从该脚本中导入或启动的任何子进程。这意味着您需要在导入任何可能使用CUDA的库（如TensorFlow或PyTorch）之前设置它。