VQ-Diffusion：基于离散隐空间的扩散模型

中国科学技术大学与微软提出 VQ-Diffusion，一种在量化隐空间上进行加噪与去噪的条件扩散模型，隐空间由离散向量集合构成。该模型使用冻结的 VQ-VAE 编码图像，并以 CLIP 文本编码器加编码器-解码器 Transformer 预测去噪后的隐变量分布。相比自回归模型，VQ-Diffusion 在推理速度、误差累积和方向偏置三方面均有改善，可通过 🧨 Diffusers 几行代码调用。