• 机器学习笔记:RNN值Teacher Forcing


    1 基本介绍

    • Teacher forcing是一种在训练循环神经网络(RNN)时使用的技术,尤其是在序列生成任务中,如机器翻译、文本生成或语音合成。
    • 这种方法的目的是更有效地训练网络预测下一个输出,给定一系列先前的观察结果。

    1.1 标准RNN训练过程的问题

    • 当训练一个用于序列生成的RNN时,通常会让网络预测序列中的下一个元素。(这种模式又被称为free-running mode / autoregressive mode)
      • 在标准的训练过程中,网络的预测会被送回作为下一个时间步骤的输入。
      • 但是,在初始阶段,由于网络的参数还没有很好的调整,这些预测可能会相当不准确。
      • 这种不准确性可以在网络中累积,并可能导致训练过程变得低效
        • (某一个单词预测错了,后面会跟着错,导致模型很难收敛)

    1.2 Teacher Forcing的工作原理

    • 为了克服这个问题,teacher forcing在训练期间不使用模型自己的预测作为下一步的输入,而是使用真实的输出序列的当前元素
    • 换句话说,在训练时刻t,模型预测时间t的输出后,不是将这个预测值用作时间t+1的输入,模型而是使用真实的数据,即目标序列在时间t+1的真实值。
    • 这样,即使前一个预测不准确,网络也可以在准确的数据指导下继续学习
    • 在使用Teacher Forcing的seq2seq的训练过程中,decoder即使遇到了标识也不会结束,因为训练的时候并不是一个生成的过程 ,我们需要等到“标准答案”都输入完才结束

    2 优点

    • 快速收敛: 由于网络接收到准确的信息,它通常可以更快地学习正确的参数。
    • 稳定训练: 防止错误的累积和传播,使得整个训练过程更加稳定
    • 并行保证:保证 Transformer 模型能够在训练过程中完全并行计算所有token

    3 缺点

    • 露珠效应(Exposure Bias): 在真实应用(推理阶段)中,网络只能依赖于它自己的预测来生成序列,这可能导致在训练时没有遇到的错误。
    • 不一致的学习信号: 训练和推理时的行为不一致,可能会导致推理时性能下降。

    4 teacher forcing ratio

     Scheduled Sampling for Sequence Prediction with Recurrent Neural Networks 2015

    • 模型在训练过程中的每一个steps,有 p的概率选择使用 teachering-forcing,有 1−p 的概率选择使用 Autoregressive。
    • 模型在训练前期,p应该尽可能的大,这样能够加速收敛;而在快要结束训练的时候, p 尽可能的小,让模型在 Autoregressive 的方案中尽可能的修复自身生成的错误。
      • p可以随着训练的Epoch 进行衰减:Exponential Decay, Inverse Sigmoid decay 和 Linear decay 

    • 上面的这个概率 p ,是针对一个token而言的,而不是针对整句话
      • 也就是说在解码过程中,每个token的生成,都要进行着这么一次概率的选择
      • 论文中指出,如果是整句话进行概率选择的话,效果会比较差

    • Always Sampling:相当于在训练过程只使用Autoregressive 方案(每次使用上一步的预测单词),可以发现模型效果非常差,收敛有问题。
    • Uniform Scheduled Sampling:每次都有0.5的概率选择 Teacher-Forcing,0.5的概率选择Autoregressive,效果也比 Scheduled-Sampling 要差

    参考内容:

    【Hello NLP】CS224n笔记[7]:机器翻译和seq2seq

  • 相关阅读:
    Springboot——jxls实现同sheet多个列表展示
    2022阿里巴巴云栖大会
    Linux: 进程(控制)
    优秀软件测试报告
    SPARK中的wholeStageCodegen全代码生成--以aggregate代码生成为例说起(6)
    前端新轮子Nue,号称替代Vue、React和Svelte
    1.HTML简介
    Two-stage RO: part 1
    基于OneFlow实现Unfold、Fold算子
    【NodeJs篇】关于path 路径模块的学习和使用
  • 原文地址:https://blog.csdn.net/qq_40206371/article/details/134203207