扩散模型原理和pytorch代码实现初学资料汇总

1.扩散模型和分数匹配模型的资源和论文的汇总

https://github.com/heejkoo/Awesome-Diffusion-Models 是一个github网站

2. 三篇经典论文

• 《Deep Unsupervised Learning using Nonequilibrium Thermodynamics》 2015年 扩散模型起源

• 《Denoising Diffusion Probabilistic Models》 2020年 扩散模型兴起
  https://github.com/lucidrains/denoising-diffusion-pytorch 对应pytorch实现

• 《Improved Denoising Diffusion Probabilistic Models》 2021年 第二篇论文的改进
  https://github.com/openai/improved-diffusion 对应pytorch实现

3.看过的扩散模型博客

• The recent rise of diffusion-based models
  可以了解到扩散模型近年比较经典的应用
• Introduction to Diffusion Models for Machine Learning
  从中可以了解到一个实现扩散模型的库denoising_diffusion_pytorch，博客中有使用案例
• What are Diffusion Models?
  也是扩散模型的一个理论介绍博客，推导挺详细的
• Diffusion Models as a kind of VAE
  探究了VAE和扩散模型的联系
• The Annotated Diffusion Model
  扩散模型理论和代码实现，代码我进行理解加了注释与理论对应，方便大家理解
• An introduction to Diffusion Probabilistic Models
  也是一个介绍性博客，公式也很工整

4. 看过的一个B站视频

• 54、Diffusion Model扩散模型理论与完整PyTorch代码详细解读
  我是看过其他资料后才看的这个视频，所以一遍都能全看懂，不知道初看怎么样

  代码我也进行理解加了注释与理论对应，方便大家理解

5.未看过的扩散模型博客

• https://jmtomczak.github.io/blog/10/10_ddgms_lvm_p2.html 扩散模型理论和代码实现
• Generative Modeling by Estimating Gradients of the Data Distribution

其他相关资料

• 机器学习-白板推导系列(十二)-变分推断（Variational Inference） 知道Lvlb等概念是什么(B站视频)
• 【学习笔记】生成模型——变分自编码器 理解VAE(博客)
• 【机器学习】白板推导系列(三十二) ～ 变分自编码器(VAE) 理解VAE(B站视频)
• https://github.com/labmlai/annotated_deep_learning_paper_implementations 有很多深度学习算法的实现
• The Annotated Transformer transformer的pytorch实现的一个解释博客
• positional_encoding的一个实现案例 github代码
• 强烈推荐！台大李宏毅自注意力机制和Transformer详解！ B站视频
• 《Attention Is All You Need》 transformer和注意力机制原论文
• Transformer论文逐段精读【论文精读】
• 64 注意力机制【动手学深度学习v2】 我根据官方资料整理了jupyter代码实现文件，可从头到尾直接运行
• Reparameterization Trick 白板推导变分推断后两节也有提到
• isotropic Gaussian distribution
• A Recipe for Training Neural Networks

加注释后的jupyter，关注微信公众号“一蓑烟雨晴”即可获取。