Flow-GRPO 用 ODE-to-SDE 引入探索。LC-GRPO 则采用 ODE 步后接 Langevin correction。4–10 步下,噪声调度、离散化和网络近似可能一起影响训练样本与 ODE 推理样本的差异。[1] [2]
近期方向:在线 fake score 与少步 GRPO rollout
本研究采用 GRPO(Group Relative Policy Optimization)优化 4–10 步 diffusion / flow student,并与 DMD 联合训练。核心假设:在这一训练框架中,持续更新的 fake score 可以兼任采样 corrector,缓解与当前生成分布不匹配的探索方向。前提是明确它估计的分布,并验证它与所修正状态的关系。
GRPO 更新后的 velocity 仍能定义 ODE。但利用预训练 flow 插值关系从 velocity 换算 score,未必仍对应更新后模型的边缘分布。这个失配是否发生、是否影响 rollout,是需要测量的研究问题。
能否复用这份 score 信息,为 GRPO 提供更可靠的随机探索?拟探索的贡献:在线分布估计与 rollout correction 的耦合,以及它对训练–推理差异的影响。
从当前 N(μ, 1) 出发,做一步 x⁺ = x + ηs(x) + √(2η)ξ,η = 0.2。旧 score 的更新均值为 0.8μ,追踪 score 为 (0.8 + 0.2a)μ。两种更新的方差均为 1.04,仍有离散偏差;不是图像质量实验,也不证明真实 student 的结论。
在线 score 估计的研究动机
调小噪声可以减轻扰动,也可能限制探索。若 correction 所用 score 与目标分布存在系统性失配,仅调整噪声幅度未必能解决方向问题。
DMD 已有的资源:teacher 提供目标分布的 score;fake-score 模型在 student 样本上持续训练,用于估计 student 生成分布经过加噪后的 score。DMD2 还强调了 fake critic 跟不上生成器时的训练不稳定性。[3] [4]
拟做的复用:同一 fake-score 模型同时服务分布匹配目标与采样 correction;通过更快的 score 更新、短期冻结和状态分布诊断,研究它能否跟上联合训练。
分布定义与 score 估计
固定 prompt c 和 K 步推理规则,student 的最终输出定义分布 qθK(x₀ | c)。DMD 在这些输出上施加已知前向加噪,得到 q̄θ,tK,fake score 估计的是这个加噪分布。
但当前 K 步 ODE 或随机 rollout 的中间状态分布记为 ρθ,tK。蒸馏和 GRPO 后,它不自动等于 q̄θ,tK。把前者的 score 用在后者上,需要额外验证或设计分布桥接。
第一轮实验会同时采集 ODE、随机 rollout 的中间状态,以及 student 端点重加噪状态,分噪声层级检查失配,而不是默认它们相同。
xt = αtx₀ + σtε
sφ(xt, t, c) ≈ ∇xₜ log q̄θ,tK(xt | c)
实际 rollout 状态 ≟ 端点前向加噪状态
若差异显著:先在端点重加噪分布上验证 correction;再考虑覆盖实际中间状态的额外 score 训练目标。此时需明确平滑噪声与目标分布,不能直接假定标准 DMD critic 已充分适配。
候选方法:DMD + GRPO + online-score corrector
x⁺ = x′ + ηtsφ(x′, t′, c) + √(2ηt)ξ
Lstudent = λDMDLDMD + λGRPOLGRPO
候选公式:一次 correction 在给定 x 下产生均值为 x′ + ηtsφ、协方差为 2ηtI 的 Gaussian transition。target marginal、t / α / σ 约定与最终步处理都需显式指定;有限步 Langevin 不精确保分布。
保存端点、prompt 与不同噪声层级的中间状态;区分 ODE 与探索采样的输出。
先用 student 端点重加噪做 denoising 训练;扫描更新频率、滞后与时间尺度。
对同一 prompt 采样 G 条随机轨迹,记录终点奖励与 transition 信息,并计算组内相对优势。
固定本轮 fake-score 参数,基于组内相对优势进行 GRPO clipped policy update,同时施加 DMD 分布匹配目标。
组内相对优势与策略更新
对于同一 prompt 的 G 条 rollout,使用终点奖励 Rᵢ 计算组内标准化优势 Aᵢ,并以该优势加权轨迹中随机 transition 的 GRPO clipped objective。
rᵢ,ₖ = πθ,φ(xₖ₊₁ | xₖ, c) / πbehavior(xₖ₊₁ | xₖ, c)
策略分布由完整 predictor–corrector transition 定义。GRPO 的策略概率比 根据实际采样的均值、噪声协方差与行为配置计算。实现中分别指定 φ 参数的冻结策略与 correction 对输入的梯度路径。
若 fake-score 模型在同一批 GRPO 更新中继续变化,策略本身也会变化;初版选择按 rollout / optimization block 固定它,并完整保存行为策略信息。
实验设计与评估
| 阶段 | 实验设计 | 回答的问题 |
|---|---|---|
| 分布诊断 | 一维 / 二维已知分布中,用解析 score 对照;图像模型固定初始、蒸馏后、GRPO 后 checkpoints,比较 K = 4 / 8 / 10。 | velocity-derived / frozen score 的偏差是否随更新增加?端点加噪分布和中间状态有多大差异? |
| 固定模型采样对照 | ODE、标准 SDE、噪声强度调节、ODE + velocity-derived Langevin、ODE + frozen fake score、ODE + online fake score。 | 改善来自 score 追踪,还是仅仅来自加噪幅度与额外计算? |
| 联合训练消融 | DMD + GRPO 基线;增加 corrector;冻结 / 更新 fake score;改变追踪频率;teacher-score 对照。 | 能否改善部署时的 K 步 ODE 输出,而不只提高随机 rollout 的训练奖励? |
| 计算与质量评估 | 分别做同探索强度、同总 NFE 和同墙钟时间对照。计入 score 前向与训练成本;评估保留 prompts 上的奖励、独立质量指标和多样性。 | 额外 score 开销是否值得?是否出现 reward hacking 或模式收缩? |
预期结果与后续研究
先观察到可重复的 score / distribution mismatch;再看在线追踪是否在匹配的计算预算下改善 rollout 与部署输出。若主要问题是状态分布不一致,优先研究桥接或 path-aware score;若在线 score 没有收益,保留诊断结果,重新判断该采样机制的必要性。
相关工作与研究定位
| 相关工作 | 已经做了什么 | 本计划拟检验的区别 |
|---|---|---|
| LC-GRPO | ODE 步后接 Langevin;由 flow velocity 直接恢复 score。 | 在更新后的少步 student 上,独立追踪的 fake score 能否改善 correction? |
| DMDR | 联合 DMD 与 RL;把 DMD 作为分布层面的正则,包含动态训练策略。 | 把 fake-score 模型复用为 rollout 的采样组件,而不仅用于 DMD 梯度。 |
| GDMD | 利用 DMD 梯度构造 reward / 更新目标,并采用不依赖 SDE rollout 的训练路径。 | 围绕随机 transition 的分布与 score 一致性开展研究,需与这类替代 RL 路线比较。 |
长远方向:结构感知的视频蒸馏
长期假设:视频教师包含可用于三维理解的隐式信息,而少步蒸馏可能损失部分结构一致性。显式几何与运动约束,或许能改善压缩后的时空稳定性,并为更广泛的物理约束打基础。
场景与视角为手工示意。真实约束要处理遮挡、相机估计误差与尺度不确定性;不同视角的二维位移本身不代表结构变形。
研究基础与假设
已有证据:ViewCrafter 通过点云线索与视频扩散先验实现新视角生成,说明视频模型的生成能力能够服务三维任务。[7]
待验证的推论:这不等于教师已经严格满足物理规律。需要先测量蒸馏前后几何一致性的变化,判断结构信息能否提供额外监督。
初期聚焦:短视频、刚性场景、相机运动与跨视角对应;把几何一致性作为可定义、可测量的子目标。
后续扩展:动态场景需要区分相机运动与物体运动;接触、非穿透、刚体动力学等约束,则需要可靠的对象状态或可控仿真数据。
用可置信的三维约束保留更多跨帧结构,而不过度压制运动?探索中的主线;具体表示、约束形式与应用范围尚未定型。
候选研究路线
几何感知的蒸馏损失
在 teacher / student 视频上估计深度、相机与对应关系,加入可见性和置信度加权的重投影、结构或轨迹一致性损失。先冻结几何估计器,检查它的误差和退化解。
结构更可靠的教师目标
用三维一致性对教师样本筛选或重加权;比较它与直接加结构损失的效果。衡量保留数据覆盖率,避免只剩低运动、易重建视频。
显式结构参与压缩
进一步探索点云、场景表示或动态轨迹作为中间监督、条件或辅助分支。评价它是否带来蒸馏收益,而不仅是更强的相机控制。
Lgeo:可见性 / 置信度加权的跨视角约束
Lmotion:允许动态变化的轨迹与结构一致性
目标草图,不是最终算法。几何估计器无法可靠覆盖的区域应屏蔽或降低权重;物理损失先在有可靠状态的可控子任务上定义。
实验设计与评估
| 研究问题 | 初步对照 | 关键判断 |
|---|---|---|
| 蒸馏是否损失结构? | 同一教师、数据和 prompts,对照完整教师与常规少步 student;扫描步数。 | 看独立几何 / 轨迹指标,并同时检查画质、运动幅度和语义。 |
| 约束是在改善,还是在限制? | 常规蒸馏、教师筛选、几何损失、置信度加权;同训练预算。 | 避免把静态化、冻结镜头或多样性下降误认为一致性提升。 |
| 评价器是否自我强化? | 约束来源与评价来源分离;加入有真值的合成静态 / 动态子集。 | 用真值与独立评估复核几何结果,控制尺度与遮挡因素。 |
| 能否走向物理可行性? | 先在刚性物体与可控运动中研究结构保持、非穿透或接触;之后再扩展。 | 分别报告几何稳定与动力学合理性,避免把 3D 一致性等同于物理正确。 |
相关工作与研究定位
VideoScene 已经把三维先验用于视频扩散蒸馏,在稀疏视图到三维场景的任务中采用 coarse 3DGS 渲染作为初始化;该方法侧重稀疏视图到三维场景生成,为三维信息参与视频蒸馏提供了直接参考。
VideoGPA 借助几何基础模型构造偏好并做 DPO,侧重几何对齐。候选区别是:聚焦少步压缩下的结构保留,在更一般的视频生成、动态对象或物理子任务上寻找明确的新问题;是否成立仍需进一步文献与实验核对。
研究实施计划
近期方向优先形成可复现诊断与最小验证;长远方向先建立结构评估,再选择算法。时间安排按阶段目标表达,不预先承诺模型规模或指标提升。
建立近期问题的证据
复现少步随机 rollout 与 ODE 的差异;构造可计算 score 的 toy;评估联合训练后 velocity-to-score 关系与分布追踪误差。
实现候选 corrector
在 DMD + GRPO 的固定基线上复用 fake score,完成状态分布、噪声预算、score 滞后与总计算量的消融,检查部署端改善。
建立视频结构的切入点
对照教师与少步视频 student 的结构退化;从刚性场景与相机运动出发,比较筛选与结构损失,再决定是否扩展到动态与物理任务。
与我已有工作的连接
少步逆问题求解的经验提供数值与推理视角;MAP-RPS 提供 score、重加噪与采样目标的经验;Drift-RAE 提供高效生成与蒸馏经验。接下来希望把这些积累用于生成模型的 GRPO 优化与视频压缩,围绕新的研究假设建立证据。
参考文献
ODE-to-SDE exploration 与训练步数缩减的基础对照。
ODE + Langevin,以及由 velocity 恢复 score 的最直接对照。
生成分布的 score 估计与分布匹配框架。
fake critic 追踪误差与两个时间尺度更新。
联合蒸馏与 RL、DMD 分布正则的相关工作。
DMD 梯度用于 reward / 更新目标,不依赖 SDE rollout 的比较路线。
视频扩散先验结合点云线索服务新视角生成。
涉及三维先验与视频蒸馏的相关方法。
几何基础模型构造偏好信号,以 DPO 对齐视频模型。
强 / 弱误差的区别,以及加性噪声下的收敛阶边界。