Inverse Problems
A research journey / 2024 — 2026

从观测到重建,
把生成先验用好。

一张模糊、缺损或低分辨率的图像,往往对应不止一个可能的原图。围绕同一个问题,三篇工作依次探索:如何求解、如何提速,以及如何选择解。

ONE PRIOR. THREE QUESTIONS.
观测 · OBSERVATIONy = A(x) + n预训练 · DIFFUSION PRIOR什么样的 x 合理?让重建同时回应观测与先验01 / 求解机制ProjDiff用好去噪能力02 / 计算预算LLE用好历史估计03 / 重建目标MAP-RPS控制失真与感知
同一研究方向,三个互补的切入点ZH / INTERACTIVE
00 /

为什么“反过来”比“正着算”难?

正向过程把原图变成观测:模糊、降采样、遮挡,再叠加噪声。逆问题要从观测找回原图,但丢掉的信息无法仅靠观测唯一确定。

同一份观测,可以对应不同的细节TRY IT
可能的原始信号 x每两个点取平均 ↓观测 y 始终不变
反向细节没有细节正向细节

观测告诉我们“必须符合什么”,
先验告诉我们“什么更合理”。

p(x | y) ∝ p(y | x) · p(x)

Likelihood / 观测模型:重建经过同一个退化过程后,应当能解释输入;有噪声时,要按噪声模型理解这种一致性。

Prior / 扩散先验:预训练模型学到自然数据的结构,通过去噪预测或 score 为求解提供信息。

左图中,相邻两点加上大小相等、方向相反的扰动,平均值就不会变。这是线性逆问题中 null space(零空间)的一个小例子。

交互图使用手工构造的一维信号,不运行 diffusion 模型,也不代表论文中的重建结果。

01 /
ProjDiff · NeurIPS 2024

先把扩散模型的去噪能力用起来。

扩散模型不只是一个“自然图像打分器”。ProjDiff 将带噪逆问题改写为包含干净样本与辅助带噪样本的约束优化,让先验建模与去噪能力共同参与求解。

从简单情形理解:先验更新 + 观测投影NOISE-FREE TOY
先验偏好的区域观测约束 C = {x : Ax = y}当前估计 xᵏ先验更新投影新估计 xᵏ⁺¹
投影回到观测约束集合,让新估计重新满足 Ax = y。

仅说明无噪线性特例的几何。图中先验更新方向为手工示意,不是实际去噪网络的输出。

带噪情形多一个关键变量。

如果直接要求 Ax = y,就可能把观测噪声也拟合进去。论文把噪声水平与扩散时间联系起来,引入辅助状态 xtₐ,把约束放在对应的带噪层级。

max log pθ(x₀, xtₐ)
subject to y′ = [I, 0] xtₐ

这里展示论文中 A = [I, 0] 的简化情形;一般线性算子通过谱分解处理不同方向的噪声水平。

怎么求解:利用联合分布的变分下界构造目标,再用梯度截断降低穿过去噪网络求导的开销,并结合投影更新。

为什么这一步能连接后两篇?

它把注意力放到推理算法本身:在已有扩散模型上,怎样组织去噪、数据一致性与迭代。LLE 随后从更一般的角度研究迭代结构;MAP-RPS 则进一步区分求解目标。

依据 ProjDiff §3 ↗

第一步:让预训练扩散模型的能力,真正进入带噪逆问题的求解过程。
01 → 02有了有效的迭代方法,下一问是:当推理预算只允许很少几步时,已有信息还能不能用得更充分?
02 /
Learnable Linear Extrapolation · NeurIPS 2025

每一步,都不必只相信最新的估计。

很多逆问题算法包含近似与启发式修正,直接套用解析高阶求解器未必可靠。LLE 将迭代统一为三个模块,并学习如何组合当前与历史估计。

Sampler预测干净样本
→
Corrector加入观测信息
→
LLE当前 + 历史估计
→
Noiser下个噪声层级
线性外推,比“取平均”多了什么?MOVE THE SLIDER
历史估计 h当前估计 c组合结果
只用历史 h只用当前 c沿趋势外推
当前权重 1.50,历史权重 −0.50:利用历史方向,越过当前估计。

这是两点仿射组合的特例。真实 LLE 学习多个历史项的系数,不限于这一条直线,也不保证任意外推都更好。

学习少量系数,保留预训练模型。

训练时:用参考样本构造退化观测,逐步优化线性组合系数。论文使用扩散模型生成的参考样本,无需重新训练扩散骨干。

推理时:系数固定;复用已计算的历史估计,在当前估计上做轻量修正。线性任务还可分别学习值域与零空间的系数。

x̃ᵢ = γᵢ,₀ x̂ᵢ + Σⱼ γᵢ,ⱼ x̃ⱼ
当前修正估计 + 历史组合结果
50 samples

论文采用的参考集规模
由扩散模型生成

3 / 5 steps

主表考察的少步设置
收益取决于基础算法与任务

具体例子:在 CelebA-HQ 的带噪修复任务中,3 步 DDNM 加入 LLE 后,PSNR 从 16.64 提升到 24.38 dB(σy = 0.05,Table 1)。这是一组固定设置的对比,不是所有任务的统一增益。

依据 LLE §4 ↗实验 §5 ↗

第二步:把过去的计算变成下一步的有效信息,在有限步数下改善重建。
02 → 03算得更快以后,还要明确“好”的含义:像素误差小,与结果符合自然图像分布,并不是同一个目标。
03 /
MAP-RPS · ICML 2026

从给出一个结果,到选择一种取舍。

MAP-RPS 先求低失真的起点,再对它重新加噪并进行后验采样。调节重加噪时间 t₀,让同一个扩散先验支持不同的失真–感知取舍。

一条重建路径,两个阶段CONCEPTUAL
噪声层级0Stage 1 / MAP重加噪到 t₀Stage 2 / 后验采样后验采样始终结合观测 y
t₀ = 0 · 保留 MAP更长的后验采样路径
从低失真起点出发,用重加噪与后验采样调整输出分布。

滑块仅演示流程,不对应论文中的具体时间表、样本或性能数值。图中的高度表示噪声层级。

“更像原图”与“更像自然图像”。

Distortion:看重建与对应真值的误差,例如 MSE / RMSE。MMSE,即后验均值,在均方误差意义下最优,但计算它可能需要大量样本。

Perception:看重建结果的整体分布是否接近自然数据分布。论文理论采用 W₂,实验用 FID 等指标评估;它不等于单张图的“锐利程度”。

两阶段策略:先用 MAP 近似低失真解,再通过 re-noised posterior sampling 逐渐调整感知质量;潜空间版本为 LMAP-RPS。

这里有两个重要边界

MAP 不普遍等于 MMSE。论文在强对数凹等假设下给出近似误差界,对复杂多峰后验需要更谨慎。

更大的 t₀ 也不保证所有实际指标单调改善;后验 score 的近似误差会累积。t₀ 控制流程,实际取舍需要实验验证。

依据 MAP-RPS §3 ↗附录 F.3 ↗

一组真实结果:低误差与感知质量可以往不同方向变化PAPER / TABLE 7
方法 / FFHQ · 4× 超分辨率PSNR ↑SSIM ↑LPIPS ↓FID ↓
MAP-RPS / t₀ = 031.560.85680.238768.57
MAP-RPS / t₀ = 30030.700.86520.177856.87

带噪观测 σy = 0.05,像素值范围 [0, 1],Stage 2 使用 DDNM。这里 PSNR 下降,而 FID 改善;这组结果说明一种取舍,不表示所有任务都必然冲突。论文 Table 7 ↗

第三步:把重建目标从一个固定答案,扩展为可调节的失真–感知取舍。
04 /

三篇放在一起,讲的是推理算法的设计。

共同起点是预训练扩散先验;推进的方向分别是求解机制、计算效率和输出目标。它们不是三个互相替代的版本,也不是已经验证过的一条组合流水线。

工作主要回答核心操作额外学习 / 使用条件
ProjDiff
NeurIPS 2024
怎样充分利用去噪先验?辅助带噪变量
约束优化与梯度截断
使用预训练 diffusion 模型
不额外训练任务网络
LLE
NeurIPS 2025
少步预算下怎样改善求解?统一迭代模块
学习当前与历史估计的组合
冻结 diffusion 骨干
需学习轻量组合系数
MAP-RPS
ICML 2026
怎样控制失真–感知取舍?MAP 起点
重加噪 + 后验采样
同一预训练 diffusion 模型
通过 t₀ 调节,含潜空间版本
The thread that connects the work

不只问模型学到了什么,
也问推理时如何把这些知识用好。

从 ProjDiff 的去噪与约束,到 LLE 的历史信息复用,再到 MAP-RPS 的目标选择:三篇工作共同探索,如何围绕观测、算力预算与重建需求,设计更有效的扩散逆问题算法。

↗ /

继续阅读

方法细节、理论条件和完整实验以原论文为准。页面里的流程图与交互图均为重新绘制的讲解示意。

01 / ProjDiff
NeurIPS 2024

Unleashing the Denoising Capability of Diffusion Prior for Solving Inverse Problems

Jiawei Zhang, Jiaxin Zhuang, Cheng Jin, Gen Li, Yuantao Gu

02 / LLE
NeurIPS 2025

Improving Diffusion-based Inverse Algorithms under Few-Step Constraint via Learnable Linear Extrapolation

Jiawei Zhang, Ziyuan Liu, Leon Yan, Gen Li, Yuantao Gu

03 / MAP-RPS
ICML 2026

Stage-wise Distortion–Perception Traversal in Zero-shot Inverse Problems with Diffusion Models

Jiawei Zhang, Ziyuan Liu, Leon Yan, Zhenyu Xiao, Yuantao Gu