文章

对于经典的扩散模型DDPM，图像逆向生成推理过程中，我们需要一步步地将随机高斯噪声$\mathbf{x}_T$还原成有意义的图像$\mathbf{x}_0$，总共需要$T$次推理，生成速度较慢。为此，DDIM（Denoising Diffusion Implicit Models）采用更小的采样次数来加速推理过程，同时从随机噪音生成图像的过程并没有引入其它噪音，即逆向过程是一个确定的过程。DDIM与DDPM的优化目标是一致的，但并不要求前向过程是一个马尔可夫链。 ...

这是一个diffusion model类型的图像生成模型，简单地概括就是通过在原图$\mathbf{x}_0$上不断地叠加高斯噪声（一共$T$轮），最终可以将$\mathbf{x}_0$变为纯高斯噪声$\mathbf{x}_T$，而模型负责将$\mathbf{x}_T$还原为$\mathbf{x}_0$。图示如下： ...

以往的diffusion model（DM）一般会在全图范围内进行操作，这样在运行DM模型所需的显存会变得非常大。而latent diffusion model（LDM）则是将输入通过预训练好的autoencoder encoder映射到潜在空间，在潜在空间上进行DM操作，最后得到的输出再通过autoencoder decoder部分映射回原图空间。作者还通过cross attention的方式将限制条件引入DM中，从而实现可控的图像生成。 ...

Ref: https://lilianweng.github.io/posts/2017-08-20-gan/ 一些背景知识 对于两个分布$P_1$和$P_2$，其KL散度（Kullback-Leibler divergence）和JS散度（Jensen-Shannon divergence）可用于描述两个分布之间的差异，具体表示如下： ...