Tensor 的广播机制

Tensor 是深度学习中的一种基础数据结构，类似于numpy中的数组。在Tensor 的使用过程中，我们经常需要对不同形状的Tensor 进行计算，这时就需要用到Tensor 的广播机制。

一、什么是Tensor 的广播机制？

Tensor 的广播机制是指在不同的Tensor 之间进行计算时，自动地进行数据扩展的一种方式。简单来说，就是当两个Tensor 的形状不同时，Tensor 会自动地将自己的形状扩展为与另一个Tensor 相同的形状，然后进行计算。

二、Tensor 广播机制的规则

Tensor 广播机制的规则是：从最后一个维度开始，将两个Tensor 的形状进行比较。如果它们的形状相同，或者其中一个Tensor 的形状是1，那么直接进行计算；如果它们的形状不同，那么将其中一个Tensor 的形状扩展为与另一个Tensor 相同的形状。

具体来说，如果两个Tensor 的形状分别为[a, b, c]和[a, d]，那么它们进行广播后的形状为[a, b, c]。如果两个Tensor 的形状分别为[a, b]和[a, 1]，那么它们进行广播后的形状为[a, b]。

三、代码示例

下面是一个简单的例子，展示了如何使用Tensor 的广播机制对不同形状的Tensor 进行计算。

import numpy as np
import tensorflow as tf

# 创建两个不同形状的Tensor
a = tf.constant([1, 2, 3])
b = tf.constant([[0], [1], [2]])

# 对两个Tensor 进行计算
c = a + b

# 输出结果
print(c.numpy())
1
2
3
4
5
6
7
8
9
10
11
12

这段代码中，我们首先创建了两个不同形状的Tensor a和b，然后使用+运算符对它们进行计算。由于两个Tensor 的形状不同，Tensor 自动将a的形状扩展为与b相同的形状，然后进行计算。最后输出结果为：

[[1 3 5]
 [2 4 6]]
1
2