【论文阅读】NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE

1.论文链接

NEURAL MACHINE TRANSLATION
BY JOINTLY LEARNING TO ALIGN AND TRANSLATE

2.本文主要为了解决什么问题？

在之前的seq2seq论文中，我们在encode的过程中要把输入数据的所有信息都映射到一个向量中，但是显然随着向量长度的提升，这么做会越来越困难。本文主要是为了解决这个问题

3.解决过程

首先是收到了LSTM和seq2seq的启发（其中在seq2seq的论文中明确指出如果是反过来输入的话，效果会提升，算是一个trick），在encode的时候分别正向使用RNN encode一次，再反过来 RNN encode一次。然后在计算下一个单词的概率的时候，
$P(y_i|y_1,...y_{i-1},x)=g(y_{i-1},s_i,c_i)$
值得一提的是对于$c_i$的计算，作者提出了attention机制，就是
$$c_i=\sum _{j=0}^{T_x}{\alpha }_{ij}{h}_j$$
我们可以将${\alpha }_{ij}$理解为权重

4.本文的创新点

1.引入了attention机制
2. 分别用了正向RNN和反向RNN