NLP：Attention和self-attention的区别 - 码农知识堂

NLP：Attention和self-attention的区别
核心思想是根据不同的上下文为不同的信息分配不同的注意力权重

效果：
- Attention：它允许模型在解码时聚焦于输入的特定部分，从而更好地捕获上下文信息。
- Self-attention：它帮助模型捕获输入序列内部的关系，无论这些关系的距离有多远。
计算：
- Attention：权重是基于当前的输出（或解码器状态）和所有的输入（或编码器状态）来计算的。
- Self-attention：权重是基于输入序列的每一个元素与其他所有元素的关系来计算的。
数学：

self-attention比attention约束条件多了两个：

1. Q=K=V（同源）也就是说，查询、键、和值都来自于同一个地方，即输入序列和输出序列是相同的，即模型在生成每一个输出时都对自己的所有输入（包括自己）进行加权求和。

2. Q，K，V需要遵循attention的做法
相关阅读:
STM32CubeMX教程24 WDG - 独立窗口看门狗
 Inception-v4 和 Inception-ResNet架构
 计算机毕业设计 SSM+Vue垃圾分类系统社区垃圾分类管理系统环保垃圾回收分类管理系统Java Vue MySQL数据库远程调试代码讲解
 Python学习之paramiko模块的基础操作与排错
 单目深度估计: LDRN网络及代码讲解
 力扣刷题day50|739每日温度、496下一个更大元素 I
什么是AOP?
Asp.NetCore 从数据库加载配置（二）
【滤波跟踪】基于GMPHD实现多目标运动跟踪附matlab代码
 记录本地部署Stable-diffusion所依赖的repositories和一些插件
原文地址：https://blog.csdn.net/qq_41413211/article/details/133635805