41.cuBLAS开发指南中文版--cuBLAS中的Level-2gemvBatched()

2.6.24. cublasgemvBatched()

cublasStatus_t cublasSgemvBatched(cublasHandle_t handle, cublasOperation_t trans,
                                  int m, int n,
                                  const float           *alpha,
                                  const float           *Aarray[], int lda,
                                  const float           *xarray[], int incx,
                                  const float           *beta,
                                  float           *yarray[], int incy,
                                  int batchCount)
cublasStatus_t cublasDgemvBatched(cublasHandle_t handle, cublasOperation_t trans,
                                  int m, int n,
                                  const double          *alpha,
                                  const double          *Aarray[], int lda,
                                  const double          *xarray[], int incx,
                                  const double          *beta,
                                  double          *yarray[], int incy,
                                  int batchCount)
cublasStatus_t cublasCgemvBatched(cublasHandle_t handle, cublasOperation_t trans,
                                  int m, int n,
                                  const cuComplex       *alpha,
                                  const cuComplex       *Aarray[], int lda,
                                  const cuComplex       *xarray[], int incx,
                                  const cuComplex       *beta,
                                  cuComplex       *yarray[], int incy,
                                  int batchCount)
cublasStatus_t cublasZgemvBatched(cublasHandle_t handle, cublasOperation_t trans,
                                  int m, int n,
                                  const cuDoubleComplex *alpha,
                                  const cuDoubleComplex *Aarray[], int lda,
                                  const cuDoubleComplex *xarray[], int incx,
                                  const cuDoubleComplex *beta,
                                  cuDoubleComplex *yarray[], int incy,
                                  int batchCount)
cublasStatus_t cublasHSHgemvBatched(cublasHandle_t handle, cublasOperation_t trans,
                                    int m, int n,
                                    const float           *alpha,
                                    const __half          *Aarray[], int lda,
                                    const __half          *xarray[], int incx,
                                    const float           *beta,
                                    __half                *yarray[], int incy,
                                    int batchCount)
cublasStatus_t cublasHSSgemvBatched(cublasHandle_t handle, cublasOperation_t trans,
                                    int m, int n,
                                    const float           *alpha,
                                    const __half          *Aarray[], int lda,
                                    const __half          *xarray[], int incx,
                                    const float           *beta,
                                    float                 *yarray[], int incy,
                                    int batchCount)
cublasStatus_t cublasTSTgemvBatched(cublasHandle_t handle, cublasOperation_t trans,
                                    int m, int n,
                                    const float           *alpha,
                                    const __nv_bfloat16   *Aarray[], int lda,
                                    const __nv_bfloat16   *xarray[], int incx,
                                    const float           *beta,
                                    __nv_bfloat16         *yarray[], int incy,
                                    int batchCount)
cublasStatus_t cublasTSSgemvBatched(cublasHandle_t handle, cublasOperation_t trans,
                                    int m, int n,
                                    const float           *alpha,
                                    const __nv_bfloat16   *Aarray[], int lda,
                                    const __nv_bfloat16   *xarray[], int incx,
                                    const float           *beta,
                                    float                 *yarray[], int incy,
                                    int batchCount)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65

此函数执行一批矩阵和向量的矩阵向量乘法。 该批处理被认为是“统一的”，即所有实例对于它们各自的 A 矩阵、x 和 y 向量具有相同的维度 (m, n)、前导维度 (lda)、增量 (incx, incy) 和转置 (trans) . 输入矩阵和向量的地址，以及批处理的每个实例的输出向量，都是从调用者传递给函数的指针数组中读取的。

$y[i]=\alpha op(A[i])x[i]+\beta y[i],fori\in [0.batchCount-1]$

其中$\alpha$和$\beta$是标量, A 是指向矩阵 A[i] 的指针数组，以列优先格式存储，维度为 m x n ，x 和 y 是指向向量的指针数组。 此外，对于 matrixA[i] ，

$$op(A[i])=\{\begin{array}{l}A[i]如果transa==CUBLAS\_OP\_N,\\ A[i{]}^T如果transa==CUBLAS\_OP\_T,\\ A[i{]}^H如果transa==CUBLAS\_OP\_C\end{array}$$
注意：y[i] 向量不能重叠，也就是说，各个 gemv 操作必须是可独立计算的； 否则，会出现未定义的行为。

对于某些规模的问题，在不同的 CUDA 流中多次调用 cublasgemv 可能比使用此 API 更有利。

如果数学模式在使用 cublasSgemvBatched() 时启用快速数学模式，则放置在 GPU 内存中的指针（不是指针数组）必须正确对齐以避免未对齐的内存访问错误。 理想情况下，所有指针都对齐到至少 16 字节。 否则建议他们满足以下规则：

• if k%4==0 then ensure intptr_t(ptr) % 16 == 0,

该函数可能返回的错误值及其含义如下表所示：