LSTM基础理论与实例

前言

关于深度学习的算法，主要有CNN卷积神经网络、RNN循环神经网络、CAN生成对抗网络三种。LSTM（Long Short-Term Memory）就是基于RNN而来。本文将主要介绍LSTM的基础理论与文字预测的实例。

LSTM基础理论

1.基础框架图

 其中的符号含义如下图所示：

2.分步解析

第一步，处理单元通过遗忘门来决定我们需要丢弃的信息。该门会读取ht−1" role="presentation">ht−1$h_{t-1}$时刻向量值与xt" role="presentation">xt$x_t$时刻的输入，然后通过激活层 σ 输出一个0-1之间数值（激活层函数一般为ReLU）。1表示“完全保留”，0表示“完全舍弃”。

 ft" role="presentation">ft$f_t$ 为 σ网络激活层;