【MindSpore易点通】Transformer的注意力机制

Transformer简介

自从Transformer模型问世后，基于Transformer的深度学习模型也在NLP领域中大放异彩。本文主要是介绍Transformer模型自注意力机制的基本原理，以方便大家在NLP中了解和使用Transformer。

Self-Attention（自注意力机制）

自注意力机制最初是就是出现在自然语言处理领域的，自注意力模型可以认为在学习一种关系，在Transformer的整体结构中处于下图红框的位置中。

Multi-Head Attention的位置：这是论文中 Transformer 的内部结构图，左侧为编码块(Encoder block)，右侧为解码块(Decoder block)。红框中的部分为多头注意力模块(Multi-Head Attention)，是由多个自注意力(Self-Attention)组成的，可以看到Encoder block包含一个Multi-Head Attention，而 Decoder block包含两个Multi-Head Attention。Multi-Head Attention上方还包括一个Add&Norm层，Add表示残差连接(Residual Connection)用于防止网络退化，Norm表示Layer Normalization，用于对每一层的激活值进行归一化。

Self-Attention 结构：通过上面介绍