【2023春李宏毅机器学习】生成式学习的两种策略

生成式学习的两种策略：各个击破、一步到位
对于文本生成：把每一个生成的元素称为token，中文当中token指的是字，英文中的token指的是word piece。比如对于unbreakable，他的word piece指的是：un break able三个元素
对于图片生成：每一步会生成像素

1 各个击破

各个击破策略对应的模型是： Autoregressive (AR) model
对于文本生成来说，一个字一个字的生成，每一步都会计算一次概率密度分布
对于图像生成来说，一个像素一个像素的生成

2 一步到位

一步到位策略对应的模型是：Non-autoregressive (NAR) model
对于文本生成来说，一次性计算好所有token的概率密度分布。

3 两种策略的对比

速度：一次到位更快
品质：各个击破策略的生成品质更好
应用：各个击破常用于文字，一次到位常用于影像
两种策略也可以结合使用