初识RNN1

RNN网络架构解读

神经网络中的另一个重要分支-RNN

递归神经网络，在传统神经网络上进行改进

网络能否学到时间相关性的影响？

• 输出层
• 隐藏层
• 输入层

• 将原来的特征再次利用
• 特征在时序上呈现相关性
• x2,和x1同时传入到隐藏层，进行运算

应用领域

• CNN-CV计算机视觉
• RNN-NPL自然语言处理

计算过程

• 构建时间序列
  • 必要时自己创建时间序列
• 得到中间输出结果h0,1,2,3
• 应该用ht，把所有特征全部综合得到的结果。

单词如何做编码

做一种编码的方式，word rec
把数据转换成为三维向量，并且按照时间顺序进行排列

LSTM

RNN网络是当前比较典型的代表

• 序列从0到1万。RNN结果最后一个结果会把前面的结果全都记忆下来
• 记忆太多，就容易出现误差

LSTM

• C控制参数：持续进行维护和更新
• 决定什么样的信息会进行遗忘
• 经过计算决定丢弃什么信息
• It要保留下来的新信息a
• Ct新数据形成的控制参数