Research Proposal

01 /
Near-term proposal · Few-step diffusion / flow GRPO

近期方向:在线 fake score 与少步 GRPO rollout

本研究采用 GRPO(Group Relative Policy Optimization)优化 4–10 步 diffusion / flow student,并与 DMD 联合训练。核心假设:在这一训练框架中,持续更新的 fake score 可以兼任采样 corrector,缓解与当前生成分布不匹配的探索方向。前提是明确它估计的分布,并验证它与所修正状态的关系。

问题 A / 有限步数连续时间的边缘分布等价,不保证少步实现等价。

Flow-GRPO 用 ODE-to-SDE 引入探索。LC-GRPO 则采用 ODE 步后接 Langevin correction。4–10 步下,噪声调度、离散化和网络近似可能一起影响训练样本与 ODE 推理样本的差异。[1] [2]

问题 B / 模型持续更新采样器用的 score,是否仍然跟得上 student?

GRPO 更新后的 velocity 仍能定义 ODE。但利用预训练 flow 插值关系从 velocity 换算 score,未必仍对应更新后模型的边缘分布。这个失配是否发生、是否影响 rollout,是需要测量的研究问题。

如果已经在 DMD 中追踪当前 student 的生成分布,
能否复用这份 score 信息,为 GRPO 提供更可靠的随机探索?拟探索的贡献:在线分布估计与 rollout correction 的耦合,以及它对训练–推理差异的影响。
分布变化与 score 失配GAUSSIAN TOY
目标分布在移动;这里使用已知解析 score横轴:一维状态 x · 曲线:概率密度
旧分布 N(0, 1)当前分布 N(μ, 1)追踪器 N(aμ, 1)

从当前 N(μ, 1) 出发,做一步 x⁺ = x + ηs(x) + √(2η)ξ,η = 0.2。旧 score 的更新均值为 0.8μ,追踪 score 为 (0.8 + 0.2a)μ。两种更新的方差均为 1.04,仍有离散偏差;不是图像质量实验,也不证明真实 student 的结论。

在线 score 估计的研究动机

调小噪声可以减轻扰动,也可能限制探索。若 correction 所用 score 与目标分布存在系统性失配,仅调整噪声幅度未必能解决方向问题。

DMD 已有的资源:teacher 提供目标分布的 score;fake-score 模型在 student 样本上持续训练,用于估计 student 生成分布经过加噪后的 score。DMD2 还强调了 fake critic 跟不上生成器时的训练不稳定性。[3] [4]

拟做的复用:同一 fake-score 模型同时服务分布匹配目标与采样 correction;通过更快的 score 更新、短期冻结和状态分布诊断,研究它能否跟上联合训练。

分布定义与 score 估计

固定 prompt c 和 K 步推理规则,student 的最终输出定义分布 qθK(x₀ | c)。DMD 在这些输出上施加已知前向加噪,得到 q̄θ,tK,fake score 估计的是这个加噪分布。

但当前 K 步 ODE 或随机 rollout 的中间状态分布记为 ρθ,tK。蒸馏和 GRPO 后,它不自动等于 q̄θ,tK。把前者的 score 用在后者上,需要额外验证或设计分布桥接。

第一轮实验会同时采集 ODE、随机 rollout 的中间状态,以及 student 端点重加噪状态,分噪声层级检查失配,而不是默认它们相同。

TWO DISTRIBUTIONS / ONE DESIGN QUESTION
x₀ ∼ qθK(· | c)
xt = αtx₀ + σtε
sφ(xt, t, c) ≈ ∇xₜ log q̄θ,tK(xt | c)
ρθ,tK ≟ q̄θ,tK
实际 rollout 状态 ≟ 端点前向加噪状态

若差异显著:先在端点重加噪分布上验证 correction;再考虑覆盖实际中间状态的额外 score 训练目标。此时需明确平滑噪声与目标分布,不能直接假定标准 DMD critic 已充分适配。

候选方法:DMD + GRPO + online-score corrector

联合训练框架PROPOSED / NOT IMPLEMENTED
K-step studentθ 更新,生成分布变化当前生成样本stop-gradient + 重加噪Online fake scoreφ 持续追踪分布ODE + correction状态分布关系须验证Reward / GRPO组内奖励 / 相对优势DMD + GRPO updateteacher score 参与 DMD复用 score
x′ = ODE-stepθ(x, t → t′)
x⁺ = x′ + ηtsφ(x′, t′, c) + √(2ηt)ξ
Lstudent = λDMDLDMD + λGRPOLGRPO

候选公式:一次 correction 在给定 x 下产生均值为 x′ + ηtsφ、协方差为 2ηtI 的 Gaussian transition。target marginal、t / α / σ 约定与最终步处理都需显式指定;有限步 Langevin 不精确保分布。

01 / SAMPLE从当前 student 采样

保存端点、prompt 与不同噪声层级的中间状态;区分 ODE 与探索采样的输出。

02 / TRACK更新 fake-score 模型

先用 student 端点重加噪做 denoising 训练;扫描更新频率、滞后与时间尺度。

03 / ROLLOUT冻结本轮 score 配置

对同一 prompt 采样 G 条随机轨迹,记录终点奖励与 transition 信息,并计算组内相对优势。

04 / OPTIMIZE联合 DMD 与 GRPO 更新

固定本轮 fake-score 参数,基于组内相对优势进行 GRPO clipped policy update,同时施加 DMD 分布匹配目标。

组内相对优势与策略更新

对于同一 prompt 的 G 条 rollout,使用终点奖励 Rᵢ 计算组内标准化优势 Aᵢ,并以该优势加权轨迹中随机 transition 的 GRPO clipped objective。

Aᵢ = (Rᵢ − meanⱼ Rⱼ) / (stdⱼ Rⱼ + ε)
rᵢ,ₖ = πθ,φ(xₖ₊₁ | xₖ, c) / πbehavior(xₖ₊₁ | xₖ, c)

策略分布由完整 predictor–corrector transition 定义。GRPO 的策略概率比 根据实际采样的均值、噪声协方差与行为配置计算。实现中分别指定 φ 参数的冻结策略与 correction 对输入的梯度路径。

若 fake-score 模型在同一批 GRPO 更新中继续变化,策略本身也会变化;初版选择按 rollout / optimization block 固定它,并完整保存行为策略信息。

实验设计与评估

阶段实验设计回答的问题
分布诊断一维 / 二维已知分布中,用解析 score 对照;图像模型固定初始、蒸馏后、GRPO 后 checkpoints,比较 K = 4 / 8 / 10。velocity-derived / frozen score 的偏差是否随更新增加?端点加噪分布和中间状态有多大差异?
固定模型采样对照ODE、标准 SDE、噪声强度调节、ODE + velocity-derived Langevin、ODE + frozen fake score、ODE + online fake score。改善来自 score 追踪,还是仅仅来自加噪幅度与额外计算?
联合训练消融DMD + GRPO 基线;增加 corrector;冻结 / 更新 fake score;改变追踪频率;teacher-score 对照。能否改善部署时的 K 步 ODE 输出,而不只提高随机 rollout 的训练奖励?
计算与质量评估分别做同探索强度、同总 NFE 和同墙钟时间对照。计入 score 前向与训练成本;评估保留 prompts 上的奖励、独立质量指标和多样性。额外 score 开销是否值得?是否出现 reward hacking 或模式收缩?

预期结果与后续研究

先观察到可重复的 score / distribution mismatch;再看在线追踪是否在匹配的计算预算下改善 rollout 与部署输出。若主要问题是状态分布不一致,优先研究桥接或 path-aware score;若在线 score 没有收益,保留诊断结果,重新判断该采样机制的必要性。

相关工作与研究定位

相关工作已经做了什么本计划拟检验的区别
LC-GRPOODE 步后接 Langevin;由 flow velocity 直接恢复 score。在更新后的少步 student 上,独立追踪的 fake score 能否改善 correction?
DMDR联合 DMD 与 RL;把 DMD 作为分布层面的正则,包含动态训练策略。把 fake-score 模型复用为 rollout 的采样组件,而不仅用于 DMD 梯度。
GDMD利用 DMD 梯度构造 reward / 更新目标,并采用不依赖 SDE rollout 的训练路径。围绕随机 transition 的分布与 score 一致性开展研究,需与这类替代 RL 路线比较。
NEAR → LONG近期把在线分布信息用于采样;长远把结构信息用于蒸馏。两者都希望在有限推理预算下,更有效地利用已有生成先验。
02 /
Long-term exploration · Video distillation × 3D

长远方向:结构感知的视频蒸馏

长期假设:视频教师包含可用于三维理解的隐式信息,而少步蒸馏可能损失部分结构一致性。显式几何与运动约束,或许能改善压缩后的时空稳定性,并为更广泛的物理约束打基础。

从帧序列,到可共享的场景结构CONCEPTUAL
帧 i / 相机位姿 Tᵢ帧 j / 相机位姿 Tⱼ同一个场景 S / 跨帧共享结构重投影 / 可见性 / 对应点先从静态场景与相机运动开始,再扩展到动态物体

场景与视角为手工示意。真实约束要处理遮挡、相机估计误差与尺度不确定性;不同视角的二维位移本身不代表结构变形。

研究基础与假设

已有证据:ViewCrafter 通过点云线索与视频扩散先验实现新视角生成,说明视频模型的生成能力能够服务三维任务。[7]

待验证的推论:这不等于教师已经严格满足物理规律。需要先测量蒸馏前后几何一致性的变化,判断结构信息能否提供额外监督。

初期聚焦:短视频、刚性场景、相机运动与跨视角对应;把几何一致性作为可定义、可测量的子目标。

后续扩展:动态场景需要区分相机运动与物体运动;接触、非穿透、刚体动力学等约束,则需要可靠的对象状态或可控仿真数据。

能否在相同少步推理预算下,
用可置信的三维约束保留更多跨帧结构,而不过度压制运动?探索中的主线;具体表示、约束形式与应用范围尚未定型。

候选研究路线

A / GEOMETRY SUPERVISION

几何感知的蒸馏损失

在 teacher / student 视频上估计深度、相机与对应关系,加入可见性和置信度加权的重投影、结构或轨迹一致性损失。先冻结几何估计器,检查它的误差和退化解。

B / STRUCTURED TARGETS

结构更可靠的教师目标

用三维一致性对教师样本筛选或重加权;比较它与直接加结构损失的效果。衡量保留数据覆盖率,避免只剩低运动、易重建视频。

C / 3D / 4D REPRESENTATIONS

显式结构参与压缩

进一步探索点云、场景表示或动态轨迹作为中间监督、条件或辅助分支。评价它是否带来蒸馏收益,而不仅是更强的相机控制。

L = Ldistill + λgeoLgeo + λmotionLmotion
Lgeo:可见性 / 置信度加权的跨视角约束
Lmotion:允许动态变化的轨迹与结构一致性

目标草图,不是最终算法。几何估计器无法可靠覆盖的区域应屏蔽或降低权重;物理损失先在有可靠状态的可控子任务上定义。

实验设计与评估

研究问题初步对照关键判断
蒸馏是否损失结构?同一教师、数据和 prompts,对照完整教师与常规少步 student;扫描步数。看独立几何 / 轨迹指标,并同时检查画质、运动幅度和语义。
约束是在改善,还是在限制?常规蒸馏、教师筛选、几何损失、置信度加权;同训练预算。避免把静态化、冻结镜头或多样性下降误认为一致性提升。
评价器是否自我强化?约束来源与评价来源分离;加入有真值的合成静态 / 动态子集。用真值与独立评估复核几何结果,控制尺度与遮挡因素。
能否走向物理可行性?先在刚性物体与可控运动中研究结构保持、非穿透或接触;之后再扩展。分别报告几何稳定与动力学合理性,避免把 3D 一致性等同于物理正确。

相关工作与研究定位

VideoScene 已经把三维先验用于视频扩散蒸馏,在稀疏视图到三维场景的任务中采用 coarse 3DGS 渲染作为初始化;该方法侧重稀疏视图到三维场景生成,为三维信息参与视频蒸馏提供了直接参考。

VideoGPA 借助几何基础模型构造偏好并做 DPO,侧重几何对齐。候选区别是:聚焦少步压缩下的结构保留,在更一般的视频生成、动态对象或物理子任务上寻找明确的新问题;是否成立仍需进一步文献与实验核对。

03 /

研究实施计划

近期方向优先形成可复现诊断与最小验证;长远方向先建立结构评估,再选择算法。时间安排按阶段目标表达,不预先承诺模型规模或指标提升。

PHASE 1 / DIAGNOSE

建立近期问题的证据

复现少步随机 rollout 与 ODE 的差异;构造可计算 score 的 toy;评估联合训练后 velocity-to-score 关系与分布追踪误差。

PHASE 2 / VALIDATE

实现候选 corrector

在 DMD + GRPO 的固定基线上复用 fake score,完成状态分布、噪声预算、score 滞后与总计算量的消融,检查部署端改善。

PHASE 3 / EXPLORE

建立视频结构的切入点

对照教师与少步视频 student 的结构退化;从刚性场景与相机运动出发,比较筛选与结构损失,再决定是否扩展到动态与物理任务。

与我已有工作的连接

少步逆问题求解的经验提供数值与推理视角;MAP-RPS 提供 score、重加噪与采样目标的经验;Drift-RAE 提供高效生成与蒸馏经验。接下来希望把这些积累用于生成模型的 GRPO 优化与视频压缩,围绕新的研究假设建立证据。

↗ /

参考文献