《论文阅读》THE CURIOUS CASE OF NEURAL TEXT DeGENERATION
本文带来Ari Holtzman、Jan Buys、 Li Du、Maxwell Forbes和Yejin Choi共同创作的文章
论文试图解决什么问题？
过往的问题
在文本生成任务中的解码部分，使用似然性作为训练目标会为广泛的语言理解任务带来高质量的模型，但基于最大化的解码方法（如集束搜索）会导致退化——输出文本平淡无奇，不连贯，或陷入重复循环。
解决方法
截断概率分布的不可靠尾部，从包含绝大多数概率质量的令牌的动态核中采样。
这是否是一个新的问题？
在文本生成策略方面，本文