PyTorch - Diffusion Model 公式推导 (1)

两篇相关论文：

• Deep Unsupervised Learning using Nonequilibrium Thermodynamics，Stanford University
  • 利用 非平衡热力学(Nonequilibrium Thermodynamics) 的深度无监督学习
• DDPM，Denoising Diffusion Probabilistic Models，UC Berkeley
  • 去噪的扩散概率模型

GAN，Generative Adversarial Network，生成对抗网络

Diffusion Model，扩散模型

VAE，Variational Autoencoders，变分自编码器

一、条件概率公式与高斯分布的KL散度

1. 条件概率的一般形式
2. 基于马尔科夫假设的条件概率
   • 马尔科夫分布，当前时刻的概率之与上一时刻有关，与之前的概率无关。
   • A -> B -> C，P(A,B,C) = P(C|B) P(B|A) P(A)
3. 高斯分布的KL散度公式
   • KL散度公式，均值和方差
4. 重参数化技巧，参数重整化(Reparameterization Trick)
   • N(μ,𝜎)