一文读懂Diffusion model

一．　扩散定义
在算法中，它替代了GAN网络。
注：GAN网络是一个生成对抗网络，它存在的问题：
（1）模型会学到一些我们不希望出现的东西，模型收敛难度高。
　　 （2）只为了骗过判决器，多样性较差。
　　 参考资料：《DALL-E2》底层逻辑是扩散模型：unet主体，transformor可以嵌入进去。
　　 引入：
　　 功能： 去噪
　　 每一个时刻添加高斯噪声，后一时刻都是由前一时刻增加噪声得到的。
　　 加噪的过程就是不断添加标签的过程。
　　 扩散-复原
　　 扩散：由一只狗的样本图像完全变为纯噪声的样本。
　　 这是一个迭代的过程，存在梯度训练的问题。
　　 注：只要是网络深度大，都会存在梯度训练的问题。
　　 任意时刻的分布都可以通过初始状态x0和初始分布z得到。

    **去噪：**
    贝叶斯公式可以逆推。
    无法直接求解时，可以求解近似解。
    前向噪声作为标签。
    
    实际过程就是后向过程。
1
2
3
4
5
6

前向是作为后向的训练条件。

深度学习的本质就是用一堆数据，提取特征，然后生成模型，再去处理一些新的数据。

扩展知识点：注意力机制。