Teacher Forcing技术

我会带着你远行 2022-12-08 01:45 98阅读 0赞

以一个seq2seq模型为例，某一时刻t应该输出”you"这个词，但却错误的输出了“I”，那么如果将错误的输出传递给下一个时间序列，必然会影响接下来的输出，这个时候就有以下的策略。

两种策略为：

1.  不管上一时刻输出是什么，当前时刻的输入总是规定好的，按照给定的 target 进行输入
2.  当前时刻的输入和上一时刻的输出，是有关联的。具体来说就是，当前时刻的输入就是上一时刻的输出

如果使用第二种方式，其中只要一步预测错，后面的预测就会越来越跑偏，很难收敛

但是第一种训练方式存在以下的问题：

> 1.  在解码的时候生成的字符都会受到 Ground-Truth 的约束，希望模型生成的结果都必须和参考句一一对应。这种约束在训练过程中减少模型发散，加快收敛速度。但是一方面也扼杀了翻译多样性的可能
> 2.  在这种约束下，还会导致一种叫做 **Overcorrect (矫枉过正)** 的问题。例如：
> 
> 1.  待生成句的 Reference 为: "We should comply with the rule."
> 2.  模型在解码阶段中途预测出来："We should abide"  
>     【尽管用正确的词作为上一个输入，这个词仍然可能预测成为其他词例如abide】
> 3.  然而按照规定，将第三个 ground-truth "comply" 作为第四步的输入。那么模型根据以往学习的 pattern，有可能在第四步预测到的是 "with"
> 4.  模型最终的生成变成了 "We should abide with"
> 5.  事实上，"abide with" 用法是不正确的，但是由于 ground-truth "comply" 的干扰，模型处于矫枉过正的状态，生成了不通顺的语句

Teacher Forcing的思想就是两者之间，有一定概率用上一次预测的词或者是上一个正确的词作为输入。

teacher_forcing_ratio = 0.5
        teacher_forcing = random.random() < teacher_forcing_ratio
        if teacher_forcing:
            pass
        else:
            pass