NLP：Attention和self-attention的区别

核心思想是根据不同的上下文为不同的信息分配不同的注意力权重

效果：

• Attention：它允许模型在解码时聚焦于输入的特定部分，从而更好地捕获上下文信息。
• Self-attention：它帮助模型捕获输入序列内部的关系，无论这些关系的距离有多远。

计算：

• Attention：权重是基于当前的输出（或解码器状态）和所有的输入（或编码器状态）来计算的。
• Self-attention：权重是基于输入序列的每一个元素与其他所有元素的关系来计算的。

数学：