在GPU上运行MATLAB程序

matlab在运行一些大型程序时会比较慢，如果你的电脑正好有一张不错的显卡，那么为什么不用显卡来加速matlab运行呢？

本文将讲解如何使用gpu来加速matlab运行程序，并总结适合gpu加速的matlab程序。

准备工作：电脑上要有显卡，显卡要有cuda core。

目录

1. 认识你电脑的GPU

2. 内存数据搬运

3. GPU加速举例

4. GPU加速方法

5. 适合GPU加速的程序

---

1. 认识你电脑的GPU

MATLAB指令为：gpuDevice

下面是我电脑上的gpu设备信息

>> gpuDevice
 
ans = 
 
  CUDADevice - 属性:
 
                      Name: 'NVIDIA RTX A2000 12GB'
                     Index: 1
         ComputeCapability: '8.6'
            SupportsDouble: 1
             DriverVersion: 11.5000
            ToolkitVersion: 11
        MaxThreadsPerBlock: 1024
          MaxShmemPerBlock: 49152
        MaxThreadBlockSize: [1024 1024 64]
               MaxGridSize: [2.1475e+09 65535 65535]
                 SIMDWidth: 32
               TotalMemory: 1.2878e+10
           AvailableMemory: 1.1272e+10
       MultiprocessorCount: 26
              ClockRateKHz: 1200000
               ComputeMode: 'Default'
      GPUOverlapsTransfers: 1
    KernelExecutionTimeout: 1
          CanMapHostMemory: 1
           DeviceSupported: 1
           DeviceAvailable: 1
            DeviceSelected: 1

说明一下打印出来的信息的含义：

 附上一张GPU的架构图，便于理解

如果你能扫描出类似上面的结果，那么你就可以用gpu加速matlab程序啦。

2. 内存数据搬运

在正式开始加速之前，你还得明白一点，那就是数据的搬运。

如上图所示，正常来讲，matlab运行中的数据都是在内存里的，也就是电脑CPU的内存

如果要用GPU做计算，首先数据得在GPU的显存上

这就要研究下数据的搬运了：

GPU与显存位于显卡上，CPU位于电脑主板上，CPU与GPU之间通过PCIe连接

虽然PCIe已经是目前最快的接口了，但是毕竟是有速度上限的，所以当数据量多了以后必然传输数据是要时间的，这也是做加速必须要考虑的一个问题：

加速省下的时间能不能大于数传消耗的时间？

3. GPU加速举例

话不多说，直接上代码：

M = single(rand(7000,7000));            % 生成一个随机矩阵
tic
[A1,B1] = eig(M);               % 求该随机矩阵的特征值和特征向量
t_cpu = toc
 
 
M = gpuArray(M);                % 将数据从CPU中搬到GPU
tic
[A2,B2] = eig(M);               % 求特征值和特征向量
t_gpu = toc
% A2 = gather(A2);                % 将数据从GPU中搬到CPU
% B2 = gather(B2); 

求一个较大矩阵的特征值和特征向量，分别运行在CPU和GPU上，并统计结果

怎么证明上面这段代码分别跑在了CPU和GPU上呢？很简单，打开任务管理器(win11)：

点击任务管理器的性能标签栏，可以直观的看到CPU和GPU的利用率，CPU和GPU的利用率都依次跑到过100%

我们看看matlab打印的结果是不是gpu的时间比较短，下面是我电脑运行的结果，大家根据自己的电脑的性能适当的调节矩阵的大小。

可以看到GPU运行的速度是CPU的1.6倍。

再看一下matlab的工作区：

我们发现矩阵A2、B2、M的类型是gpuArray，代码中也调用了gpuArray()函数

所以GPU加速的关键就在于gpuArray

4. GPU加速方法

gpuArray是matlab自带的api函数，下面给出matlab官方的帮助文档：

Array stored on GPU - MATLAB - MathWorks 中国

这里总结几个常用的方法：

方法1：搬运数据  M2 = gpuArray(M1); 

如第3节所示，讲位于内存的矩阵M1搬移到位于显存的矩阵M2

方法2：直接声明位于显存的数据  rand(7000,7000,'gpuArray')；

支持这样直接创建gpuArray阵列的函数有300多个，若要查看，输入命令：methods('gpuArray')

方法3：让函数运行在GPU上  [A2,B2] = arrayfun(@eig,M); 

arrayfun的加速效果没有前面两个好，gpu没有完全被调起来

另外与gpu有关的api函数还有一些：

可自行查阅matlab的帮助文档。

5. 适合GPU加速的程序

适合GPU加速的程序具有以下几个特点：

数据类型不是double。如果把第3节的代码的数据类型改为默认的double，gpu的加速效果就很一般了，我的机器上如果不转化float，cpu反而比gpu还要快（细心的读者可能注意到我任务管理器cpu的主频有4.5GHz，皮）

高度并行的。各个数据之间运算互不影响，耦合度较低。由于GPU本身硬件基础决定，各个workgroup之间并不相互通信，只有同一workgroup内的work-item之间才相互通信，所以GPU本身并不支持迭代等数据耦合度较高的计算，这是GPU本身要求。

数据量大的。用大量数据或者用同一数据多次调用同一公式或者计算过程，公式本身并不复杂，只是执行的次数较多。

接口交互少的。任务可以分为计算密集型和IO密集型。GPU适合计算密集型，即少量的IO读取+大量的计算；而IO密集型，是指多次使用IO读取+少量计算，这种情况涉及到内存与设显存之间的通信问题，主要限制原因是显存带宽问题。

可多个阶段执行的。运算程序可分解为多个小程序或者同一程序可分多个阶段执行，这就类似于使用集群处理同一任务，将其分解为多个任务碎片分发到各节点执行，以提高运算速率。