循环神经网络RNN

先聊聊潜变量自回归模型

使用潜变量h_t总结过去信息
在这里插入图片描述
此时的h_t与h_t-1和x_t-1相关，x_t与h_t和x_t-1相关

在这里插入图片描述
Whh存放所有的时序信息

此时h_t与h_t-1和x_t-1相关

在这里插入图片描述
输入"你"，计算生成隐变量，通过隐变量预测输出"好"
预测x_t的时候，是没有看到x_t的，即输出要在当前输入之前

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

1.循环神经网络的输出取决于当下输入和前一时间的隐变量
2.应用到语言模型中时，循环神经网络根据当前词预测下一时刻词
3.通常使用困惑度来衡量语言模型的好坏

相关阅读:
听GPT 讲Rust源代码--library/std(2)
mysql 位操作
MVC架构和DDD架构的区别？
RabbitMQ-发布/订阅模式
FFmpeg例子分析---音频解码decode_audio
B2B商城交易平台搭建方案为专用设备行业注入新动力，加快产业数字化转型升级
【MindSpore论文精讲】AAAI长尾问题中训练技巧的总结
星卫士&陈卫俊表示要用心打造做真正好用、良心的健康手表
Java零基础入门-数组
大数据——DBT：dbt集成数据质量监控插件elementary（生产环境篇）

原文地址：https://blog.csdn.net/qq_39338967/article/details/126332335