故名思意,研究这个机制就是为了
使用重要数据
不使用不重要的数据
对于一个模型而言(CNN、LSTM),很难决定什么重要,什么不重要
由此,注意力机制诞生。
科学家发现给这张图,眼睛重点聚集在红色区域。
这些红色区域可能包含更重要的信息。
我(查询对象 Q),这张图 (被查询对象)
我看这张图,第一眼,去判断那些东西对我更重要,哪些对我更不重要(计算Q和V里的事物的重要程度)
具体可见: 注意力机制中Q和K相乘的意义是什么?为什么Q和K相乘就可以得到它们之间的相似性/权重矩阵呢?
进而可以知道哪个对Q而言更重要了。
还得进行汇总,找到这些目标后,Q已经失去了使用价值了,现在图片多了一些信息(于我而言更重要、更不重要的信息)。
v是源数据,Q和K共同组成了V,
通过上述变换,就得到一个新的V ,这个新的V 包含了,那些更重要,那些更不重要的信息在里面。