NLP：Attention和self-attention的区别 - 码农知识堂

NLP：Attention和self-attention的区别
核心思想是根据不同的上下文为不同的信息分配不同的注意力权重

效果：
- Attention：它允许模型在解码时聚焦于输入的特定部分，从而更好地捕获上下文信息。
- Self-attention：它帮助模型捕获输入序列内部的关系，无论这些关系的距离有多远。
计算：
- Attention：权重是基于当前的输出（或解码器状态）和所有的输入（或编码器状态）来计算的。
- Self-attention：权重是基于输入序列的每一个元素与其他所有元素的关系来计算的。
数学：

self-attention比attention约束条件多了两个：

1. Q=K=V（同源）也就是说，查询、键、和值都来自于同一个地方，即输入序列和输出序列是相同的，即模型在生成每一个输出时都对自己的所有输入（包括自己）进行加权求和。

2. Q，K，V需要遵循attention的做法
相关阅读:
庆阳市宁县副县长李晓刚一行调研珈和科技
 Drools 规则引擎一文读懂
 使用Fiddler进行手机抓包
 K8s 概念及组件
 2022版：Gitee在Android studio上的使用
 JDBC实现数据库批量插入
 ZStack CEO 张鑫：让云计算在未来无人提及，又无处不在！
Springboot+Mybatis处理复杂数据类型（Map、List等）
thinkphp6入门（21）-- 如何删除图片、文件
 Elasticsearch终端命令行用法大全
原文地址：https://blog.csdn.net/qq_41413211/article/details/133635805