Pytorch学习笔记6——时间序列RNN

Pytorch学习笔记6——时间序列

判断态度的二分类问题：
对于长句子不适合，因此需要权值共享：
对于某一层：

上一步输出作为下一步输入，存储语境信息：

自我更新语境信息ht









ht是最后一次送入得到的memory语境信息。【1，3，10】
out是所有h的聚合信息。【5，3，10】

单层RNN实现

时间序列预测（波形预测）

RNN的梯度弥散与梯度爆炸

gradient clipping 方法解决梯度爆炸
使用

LSTM可以很好解决RNN梯度弥散情况。
RNN是短期记忆网络


利用sigmoid函数实现门

1.forget gate：忘记无关的之前的状态

2. input gate and Cell State：有选择性的更新cell的状态

获得两个门后，将忘记门信息施加在原来信息上，将输入门施加在现在信息上

3.输出门。输出结果是ht




如何解决梯度离散？

pytorch实现LSTM

nn.LSTM


3个句子，每个句子10个单词，每个单词编码100

情感分类实战