指针网络（Pointer network）--学习笔记

一种能够生成 可变大小输出序列 的神经网络架构.
指针网络输出序列的长度取决于输入序列, 这解决了传统序列到序列 (seq2seq) 模型必须固定序列长度的限制。
传统seq2seq：使用输入序列的固定表征 (也就是encoder 最后一步的hidden state)来生成输出序列. 这一固定描述限制了可以穿过 decoder 的信息量与计算量.
注意力网络：
1. 通过对输入标志的加权，在decoder的每一个时间step生成一个context vector。将每个输入标志的 hidden state 表征乘以注意力权重, 然后求和得到context vector.
2. 更多可参考：注意力机制--学习笔记_Wsyoneself的博客-CSDN博客
指针网络：
1. 可以被看做注意力网络的扩展
2. 在decoder的每一个time step都会生成一个新的注意力向量。用于调节基于输入内容的注意力.
3. 指针网络可以做策略网络，因为其在每一步都会生成对输入元素的概率分布。以此更新actor的损失。
4. 指针网络结构：由 encoder, attention 和 decoder 三个模块组成。
5. Pointer network 主要用在解决组合优化类问题，实际上是Sequence to Sequence learning中encoder RNN和decoder RNN的扩展。
6. 在组合优化类问题中，比如TSP问题，输入是城市的坐标序列，输出也是城市的坐标序列，而每次求解的TSP问题城市规模n是不固定的
7. 将传统注意力机制中对于输入序列的权重作为指向输入序列的指针，每次预测一个元素时找输入序列中权重最大的那个元素。
  1. 传统带有注意力机制的seq2seq模型输出的是针对输出词汇表的一个概率分布，而Pointer Networks输出的则是针对输入文本序列的概率分布。
  2. 因为输出元素来自输入元素的特点，Pointer Networks特别适合用来直接复制输入序列中的某些元素给输出序列。
8. 指针网络相对可控，信息来源于输入的信息范围，是天生的复制粘贴利器。但是他也有个弊端，就是说无法生成输入范围以外的词汇，这样就有很大的限制。

相关阅读:
26thCSIG云上微表情：基于面部动作单元（AU）的微表情分析
链路追踪。
在供应链管理中，如何做好库存分析？库存分析有哪些监控指标？
Stable Diffuse 之本地环境部署/安装包下载搭建过程简单记录
用电话比喻计算机网络协议
世界前沿技术发展报告2023《世界航天技术发展报告》（四）载人航天技术
#案例：演示 web 自动化测试环境是否 OK（针对：Chrome 浏览器）
【基础教程】Matlab实现等高线图
关于proTable的一些配置
使用 CSS 实现毛玻璃效果

原文地址：https://blog.csdn.net/weixin_45647721/article/details/127131694