3、线性代数

1、矩阵转置 A[i,j]=A[j,i]

2、对称矩阵 ：A转置=A

[0,2,3]

[2 1 5]

[3,5,1]

3、三维矩阵 求和 axis=0 两个矩阵相加  axis=1 两个向量相加  ，axis=2 向量内部相加

keepdims=True 求和后维度保持不变

4、cumsum累加求和

5、torch.mm() 或 torch.bmm() 【矩阵乘法，前二维后三维，均不可广播】

torch.mm() 用于两个二维向量之间的矩阵乘法。如果 input1 是一个n×m张量，input2 是一个 m×p张量，将会输出一个 n×p 张量

    >>> a = torch.ones(3,4)
    >>> b = torch.ones(4,2)
    >>> torch.mm(a, b)   # torch.Size([3, 2])
    tensor([[4., 4.],
            [4., 4.],
            [4., 4.]])

而 torch.bmm() 是用于两个三维张量之间的批次矩阵乘法（其中第0维为批次大小）。由于神经网络训练一般采用mini-batch，经常输入的是三维带batch矩阵。如果 input1 是一个 b×n×m 张量，input2 是一个 b×m×p 张量，将会输出一个 b×n×p 张量

    >>> a = torch.ones(3,4,5)
    >>> b = torch.ones(3,5,6)
    >>> torch.bmm(a, b)    # torch.Size([3, 4, 6])
    tensor([[[5., 5., 5., 5., 5., 5.],
             [5., 5., 5., 5., 5., 5.],
             [5., 5., 5., 5., 5., 5.],
             [5., 5., 5., 5., 5., 5.]],
     
            [[5., 5., 5., 5., 5., 5.],
             [5., 5., 5., 5., 5., 5.],
             [5., 5., 5., 5., 5., 5.],
             [5., 5., 5., 5., 5., 5.]],
     
            [[5., 5., 5., 5., 5., 5.],
             [5., 5., 5., 5., 5., 5.],
             [5., 5., 5., 5., 5., 5.],
             [5., 5., 5., 5., 5., 5.]]])

另外，这两个函数都无法广播
6、torch.mv()【矩阵-向量乘法，不可广播】

torch.mv(input, vec) 只支持矩阵和向量之间的乘法。如果 input 为 n×m，vec向量的长度为m，那么输出为 n×1的向量。不支持广播机制

    In[1]: vec = torch.arange(4)
    In[2]: mat = torch.arange(12).reshape(3,4)
    In[3]: torch.mv(mat, vec)
    Out[1]: tensor([14, 38, 62])

torch.dot()【仅支持两个一维向量点积】

只能支持两个一维向量，两向量相乘相加得到一个标量

    与 np.dot() 不同，np.dot() 既能向量点积，又能矩阵乘法

    a = torch.tensor([2,3])
    b = torch.tensor([1,2])
    c = torch.dot(a,b)
    print('a:',a.shape)                 # a: torch.Size([2])
    print('b:',b.shape)                 # b: torch.Size([2])
    print('torch.dot:',c,c.shape)       # torch.dot: tensor(8) torch.Size([])

7、@【等价于 torch.dot() + torch.mv() + torch.mm()】

mat1 @ mat2

    若mat1和mat2都是一维向量，那么对应操作就是torch.dot()
    若mat1是二维向量，mat2是一维向量，那么对应操作就是torch.mv()
    若mat1和mat2都是二维向量，那么对应操作就是torch.mm()

    vec1 = torch.arange(4)
    vec2 = torch.tensor([4,3,2,1])
    mat1 = torch.arange(12).reshape(4,3)
    mat2 = torch.arange(12).reshape(3,4)
     
    print(vec1 @ vec2) # 两个一维向量
    print(mat2 @ vec1) # 一个二维和一个一维
    print(mat1 @ mat2) # 两个二维向量
     
    Output:
    tensor(10)
    tensor([14, 38, 62])
    tensor([[ 20,  23,  26,  29],
            [ 56,  68,  80,  92],
            [ 92, 113, 134, 155],
            [128, 158, 188, 218]])

torch.matmul() 【矩阵乘法，可高维，可广播】

torch.matmul() 与 @ 类似，但它不止局限于一维和二维，可以扩展到高维，且可以广播

    如果输入的两个张量都是一维的，那么返回点积，得到一个数，对应的操作就是torch.dot()
    如果输入的两个张量都是二维的，那么返回矩阵乘积，对应的操作就是torch.mm()
    如果输入的第一个张量是二维的，第二个张量是一维的，matrix第二维需要与 vector维度相同，返回矩阵向量乘积，对应的操作就是torch.mv()

8、L2 元素平方求和开根号

     L1 元素绝对值求和