NeurIPS 2024
Unleashing the Denoising Capability of Diffusion Prior for Solving Inverse Problems
Jiawei Zhang, Jiaxin Zhuang, Cheng Jin, Gen Li, Yuantao Gu
一张模糊、缺损或低分辨率的图像,往往对应不止一个可能的原图。围绕同一个问题,三篇工作依次探索:如何求解、如何提速,以及如何选择解。
正向过程把原图变成观测:模糊、降采样、遮挡,再叠加噪声。逆问题要从观测找回原图,但丢掉的信息无法仅靠观测唯一确定。
Likelihood / 观测模型:重建经过同一个退化过程后,应当能解释输入;有噪声时,要按噪声模型理解这种一致性。
Prior / 扩散先验:预训练模型学到自然数据的结构,通过去噪预测或 score 为求解提供信息。
左图中,相邻两点加上大小相等、方向相反的扰动,平均值就不会变。这是线性逆问题中 null space(零空间)的一个小例子。
交互图使用手工构造的一维信号,不运行 diffusion 模型,也不代表论文中的重建结果。
扩散模型不只是一个“自然图像打分器”。ProjDiff 将带噪逆问题改写为包含干净样本与辅助带噪样本的约束优化,让先验建模与去噪能力共同参与求解。
仅说明无噪线性特例的几何。图中先验更新方向为手工示意,不是实际去噪网络的输出。
如果直接要求 Ax = y,就可能把观测噪声也拟合进去。论文把噪声水平与扩散时间联系起来,引入辅助状态 xtₐ,把约束放在对应的带噪层级。
这里展示论文中 A = [I, 0] 的简化情形;一般线性算子通过谱分解处理不同方向的噪声水平。
怎么求解:利用联合分布的变分下界构造目标,再用梯度截断降低穿过去噪网络求导的开销,并结合投影更新。
它把注意力放到推理算法本身:在已有扩散模型上,怎样组织去噪、数据一致性与迭代。LLE 随后从更一般的角度研究迭代结构;MAP-RPS 则进一步区分求解目标。
很多逆问题算法包含近似与启发式修正,直接套用解析高阶求解器未必可靠。LLE 将迭代统一为三个模块,并学习如何组合当前与历史估计。
这是两点仿射组合的特例。真实 LLE 学习多个历史项的系数,不限于这一条直线,也不保证任意外推都更好。
训练时:用参考样本构造退化观测,逐步优化线性组合系数。论文使用扩散模型生成的参考样本,无需重新训练扩散骨干。
推理时:系数固定;复用已计算的历史估计,在当前估计上做轻量修正。线性任务还可分别学习值域与零空间的系数。
论文采用的参考集规模
由扩散模型生成
主表考察的少步设置
收益取决于基础算法与任务
具体例子:在 CelebA-HQ 的带噪修复任务中,3 步 DDNM 加入 LLE 后,PSNR 从 16.64 提升到 24.38 dB(σy = 0.05,Table 1)。这是一组固定设置的对比,不是所有任务的统一增益。
MAP-RPS 先求低失真的起点,再对它重新加噪并进行后验采样。调节重加噪时间 t₀,让同一个扩散先验支持不同的失真–感知取舍。
滑块仅演示流程,不对应论文中的具体时间表、样本或性能数值。图中的高度表示噪声层级。
Distortion:看重建与对应真值的误差,例如 MSE / RMSE。MMSE,即后验均值,在均方误差意义下最优,但计算它可能需要大量样本。
Perception:看重建结果的整体分布是否接近自然数据分布。论文理论采用 W₂,实验用 FID 等指标评估;它不等于单张图的“锐利程度”。
两阶段策略:先用 MAP 近似低失真解,再通过 re-noised posterior sampling 逐渐调整感知质量;潜空间版本为 LMAP-RPS。
MAP 不普遍等于 MMSE。论文在强对数凹等假设下给出近似误差界,对复杂多峰后验需要更谨慎。
更大的 t₀ 也不保证所有实际指标单调改善;后验 score 的近似误差会累积。t₀ 控制流程,实际取舍需要实验验证。
| 方法 / FFHQ · 4× 超分辨率 | PSNR ↑ | SSIM ↑ | LPIPS ↓ | FID ↓ |
|---|---|---|---|---|
| MAP-RPS / t₀ = 0 | 31.56 | 0.8568 | 0.2387 | 68.57 |
| MAP-RPS / t₀ = 300 | 30.70 | 0.8652 | 0.1778 | 56.87 |
带噪观测 σy = 0.05,像素值范围 [0, 1],Stage 2 使用 DDNM。这里 PSNR 下降,而 FID 改善;这组结果说明一种取舍,不表示所有任务都必然冲突。论文 Table 7 ↗
共同起点是预训练扩散先验;推进的方向分别是求解机制、计算效率和输出目标。它们不是三个互相替代的版本,也不是已经验证过的一条组合流水线。
| 工作 | 主要回答 | 核心操作 | 额外学习 / 使用条件 |
|---|---|---|---|
| ProjDiff NeurIPS 2024 | 怎样充分利用去噪先验? | 辅助带噪变量 约束优化与梯度截断 | 使用预训练 diffusion 模型 不额外训练任务网络 |
| LLE NeurIPS 2025 | 少步预算下怎样改善求解? | 统一迭代模块 学习当前与历史估计的组合 | 冻结 diffusion 骨干 需学习轻量组合系数 |
| MAP-RPS ICML 2026 | 怎样控制失真–感知取舍? | MAP 起点 重加噪 + 后验采样 | 同一预训练 diffusion 模型 通过 t₀ 调节,含潜空间版本 |
从 ProjDiff 的去噪与约束,到 LLE 的历史信息复用,再到 MAP-RPS 的目标选择:三篇工作共同探索,如何围绕观测、算力预算与重建需求,设计更有效的扩散逆问题算法。
方法细节、理论条件和完整实验以原论文为准。页面里的流程图与交互图均为重新绘制的讲解示意。
Jiawei Zhang, Jiaxin Zhuang, Cheng Jin, Gen Li, Yuantao Gu
Jiawei Zhang, Ziyuan Liu, Leon Yan, Gen Li, Yuantao Gu
Jiawei Zhang, Ziyuan Liu, Leon Yan, Zhenyu Xiao, Yuantao Gu