ECCV 2022 Diffusion models最新研究成果：熵约束算法解决梯度消失问题

ECCV 2022 Diffusion models最新研究成果：熵约束算法解决梯度消失问题

前言：最新的ECCV 2022有很多关于扩散模型精彩的工作，今天和大家一起学习一下浙大最新的工作：用熵驱动引导扩散模型。这篇论文重点针对分类器引导扩散模型时梯度过早消失的问题，在采样过程中，引入预测分布熵作为制导消失程度的度量，提出了一种熵感知的尺度变换方法来自适应恢复条件语义制导。

由于分类器仅能对生成不完全的高阶结构图像进行容易的区分，梯度作为一种类信息引导倾向于早期消失，导致由条件生成过程崩溃为无条件生成过程。为了解决这个问题，我们从两个角度提出了两个简单而有效的方法。在采样过程中，引入预测分布熵作为制导消失程度的度量，提出了一种熵感知的尺度变换方法来自适应恢复条件语义制导。在训练阶段，我们提出熵感知优化目标，以缓解对噪声数据的过度自信预测。

问题：条件引导过早消失

图一：分类器梯度作为条件生成中的一种类别信息，能够快速收敛到0；在后续迭代中恢复了梯度引导，成功地生成了细粒度特征。

在DDPM的条件生成过程中，分类器通过对图像分类概率梯度的倒推，在迭代的早期提供高层次的语义信息，在随后的迭代中逐步强化粗粒度特征，这两者都是必不可少的。

如图1所示，噪声图像分类器的预测分
相关阅读:
论文总结：3D Talking Face With Personalized Pose Dynamics
前端缓存技术
 Servlet程序的实现
 【计算机毕业设计】Springboot 社区助老志愿服务系统-96682，免费送源码，【开题选题+程序定制+论文书写+答辩ppt书写-原创定制程序】
abap关于COMMIT WORK （提交工作）和 COMMIT WORK AND WAIT 的区别
 Chrome获取RequestId
说说Alpha指令集和那些事儿
 【深度学习入门】- 用电路思想解释感知机
 DSOMEIP丢数据问题分析和总结：
Git 创建分支、合并分支
原文地址：https://blog.csdn.net/qq_41895747/article/details/126032075

问题：条件引导过早消失