Drift-RAE阅读论文 ↗
A visual guide to one-step generation

Drift-RAE

让高质量生成,
只需一步。

RAE 的语义表示很强,为什么却难以蒸馏?这项工作从潜空间几何出发,用 drifting 直接匹配分布,让预训练的生成模型学会一步输出。

Jiawei Zhang · Mengfei Xia · Gen Li · Yuantao Gu
Tsinghua University · Ant Group · CUHK
论文 Figure 2:Drift-RAE 在 ImageNet 上的一步生成样本,包含动物、食物、车辆与自然景物。
ONE STEP. MANY POSSIBILITIES.

论文真实生成样本 · Figure 2 · DiTᴰᴴ-XL

1.48FID ↓ · ImageNet 256 × 256
1NFE单步生成 · 保留 RAE 解码器
16epochs蒸馏训练 · 从预训练模型初始化

主结果采用 DiTᴰᴴ-XL + IDG(ω = 1.4),评估 50,000 张类别均衡样本。16 epochs 不包含预训练成本;NFE 不是端到端耗时。

01 /

一个潜空间,两种几何特征。

RAE 用预训练表征编码器替代传统 VAE 编码器。它的特征有丰富语义,但“语义好”并不意味着“生成轨迹容易压缩”。

轨迹视角:弯曲带来困难TRAJECTORY
噪声数据RAE · 高曲率较平缓轨迹
论文在所测 32 条 ODE 轨迹上观察到:RAE 的曲率约比 SD-VAE 高两个数量级。高曲率让依赖教师轨迹的蒸馏更加困难。
分布视角:聚集带来机会REPRESENTATION
SD-VAE · 较分散RAE · 更集中
RAE 的类内 patch 特征更集中,也更各向异性。这不利于简单的轨迹压缩,却适合直接计算样本间的吸引与排斥。

各向异性:RAE 的 PR 为 0.0630,SD-VAE 为 0.2068;在本文统计协议下,较小的 PR 表示谱更不均匀。

集中程度:RAE 的 NN-d 为 1.0664,SD-VAE 为 4.3083;最近邻距离按维度归一化,越小表示样本越集中。

两图为二维概念示意,不是实测轨迹或特征投影。统计按同类别、同 token 位置计算。§3.2 / Tables 1–2 ↗

关键转向:不再强求一步模型复现复杂的教师轨迹,
而是在语义潜空间中,直接学习目标分布。

02 /

用 drifting,把生成分布推向数据。

从预训练 flow 模型初始化一步生成器。真实 RAE token 提供吸引,其他生成 token 提供排斥;在训练中更新模型,让输出分布逐步接近真实分布。

Inference · a single generator evaluation
zGaussian noise
→
→
RAE latent语义 token
→
Decoder输出图像

训练时:对生成 latent 直接施加 token-wise drifting loss,无需额外的 MAE 特征提取器。推理时:无需真实样本或训练用 drifting 场。

真实样本生成样本

二维吸引–排斥玩具模型;动画表示训练中分布的变化,不是模型的多步推理,也不是实际生成结果。

Try the intuition

吸引让样本靠近,
排斥帮助覆盖分布。

同时使用吸引与排斥,让生成点靠近目标簇,并避免集中在少数位置。

A closer look · one generated token

固定一个点,把“吸引 − 排斥”拆开看。

下面三幅图使用完全相同的样本与坐标。深色点 x 是当前生成 token;所有其他点均对应同类别、同 token 位置。

更关注近邻权重更均匀

绿色 yᵢ:真实样本
橙色 xₖ:其他生成样本

① 吸引 ATOWARD REAL
A = Σᵢ αᵢ (yᵢ − x)
= μ+ − x

每个真实样本给出一个“朝向它”的向量。分别乘上权重后相加,等价于走向真实样本的加权中心 μ+。

② 排斥 RAWAY FROM GENERATED
R = −Σₖ≠self βₖ (xₖ − x)
= x − μ−

先计算“朝向其他生成样本”的加权向量,再取负号。粗箭头因此背离它们的中心 μ−;x 自己不参与计算。

③ 合成 VTHE DRIFTING FIELD
V = A + R
= μ+ − μ−

绿色吸引与橙色排斥按向量相加,得到紫色方向。它同时利用真实分布和当前生成分布的信息。

每个箭头的权重从哪里来?

αᵢ = softmaxᵢ(−‖yᵢ − x‖ / τ)
βₖ = softmaxₖ≠self(−‖xₖ − x‖ / τ)

距离更近,权重通常更大。正样本和负样本各自归一化,两组权重分别和为 1。箭头贡献还要乘位移向量,所以“权重大”不等于“箭头一定最长”。

图中细箭头是单个加权贡献,粗箭头是组内合力;十字标记是加权中心。拖动 τ,可观察中心与合成方向的变化。

这里的 τ 是二维演示尺度(图上 100 单位为 1),不是论文实验超参数。图只展示基础场;实际训练还包含输入扰动、多温度损失平均等处理。

当前距离与权重 · 随 τ 更新
样本距离 d权重
④ 从图中的方向,到真正的模型更新

先归一化 Ṽ = V / ‖V‖(非零场),再构造固定目标 sg[x + Ṽ]。通过回归损失反向传播,更新生成器参数;并不是在推理时反复移动一个 latent。

A 与 R 可以部分或完全抵消。有限样本下,某一个点的 V ≈ 0 并不能单独证明两种分布已经一致。上面的 μ+、μ− 也会通过距离权重依赖当前 x。

二维图解与实时计算依据论文 Eq. 11;训练目标对应 Eq. 10 ↗。

L(θ) = Σⱼ,꜀ ‖ Gθᶜ(zⱼ) − sg[ Gθᶜ(zⱼ) + Ṽⱼᶜ ] ‖²c 是 token 位置,j 是生成样本;Ṽ 是归一化 drifting 场,sg 表示 stop-gradient。把“当前输出 + 移动方向”作为固定回归目标。Eq. 10 ↗
01 / FIELD

单向 softmax + 输入扰动

移除额外的 y-softmax,对计算 drifting 场的生成样本加入小扰动。前者贴合势函数梯度的推导,后者改善训练稳定性。

02 / SAMPLES

更多样本,不必全部反传

每类 256 个正样本,对应 64 个可反传负样本与 192 个 detached 负样本。用更多样本估计分布,同时控制梯度存储。

03 / TOKENS

CLS 与 register tokens

CLS token 接受真实表征的 drifting 监督;另加 4 个不设显式目标的 register tokens,为 Transformer 提供额外容量。

进一步理解:为什么它与 Diffusion-GAN 有联系?

对真实与生成样本做核平滑后,最优判别器的 logit 梯度是 ∇log q̂ − ∇log p̂。论文将 drifting 解释为这一方向的经验估计,并以此启发 softmax、扰动和样本数量的设计。严格公式会随核的形式带上距离因子;这是一种理论联系,并不意味着训练中额外引入了一个 GAN 判别器。Appendix A.2 ↗

03 /

只生成一步,也能做 guidance。

Internal Drifting Guidance(IDG)从同一次前向传播的中间特征构造一个辅助输出,再沿“辅助输出 → 最终输出”的方向外推。

从模型内部,找到外推的参照。

取第 8、14 层的特征,拼接后送入轻量投影头。用主干最终输出作为正样本,通过 drifting 训练这个 head,并在中间特征处截断梯度,避免影响主干。

GIDG(z, ω) = G(z) + (ω − 1)[G(z) − P(φ(z))]与论文 Eq. 13 等价。ω = 1 时是原输出;ω > 1 时远离辅助输出。共享主干前向,增加轻量 head 与外推运算。

论文默认使用 ω = 1.4。引导强度并非越大越好,实测指标呈先改善、后变差的趋势。

§3.4 / Figure 3 / Appendix B.3 ↗
Move the slider · inspect extrapolation
辅助输出 P主干输出 GIDG 输出

ω = 1.4:从 G 沿 G − P 再前进 0.4 倍。

这是向量运算示意,不模拟生成图像,也不插值或预测 FID。

04 /

一步的效率,接近多步的质量。

在 ImageNet 256 × 256 类别条件生成上,Drift-RAE 将 RAE 生成器蒸馏为 1 NFE,并取得 1.48 FID。下面保留教师、RAE 基线和相关一步方法作为参照。

FID 越低越好 · 摘录自论文 Table 4

ImageNet 256 类别条件生成结果,按页面筛选显示
方法空间NFEFID ↓训练 epochs
DiTᴰᴴ-XL · 预训练教师RAE501.13 800
MF-RAE †RAE12.03 41
Drifting Model · L/2VAE11.54 1280
FreeFlow-XL/2 †VAE11.45 300
Drift-RAE · DiTᴰᴴ-L †RAE11.82 16
Drift-RAE · DiTᴰᴴ-XL †RAE11.48 16

† 为蒸馏方法,其 epochs 为蒸馏训练阶段。各方法的预训练成本、结构与训练设置不同,不能把 epochs 比直接解释为总算力或端到端速度比。Drift-RAE 的 FID 仍高于预训练教师,也未优于表中所有其他空间的方法。

Baseline
2.00
场的改进
1.86
增加平衡样本
1.74
+ IDG
1.48

FID ↓ · DiTᴰᴴ-XL · Tables 3 & 10

Ablation walkthrough

从原始 drifting 配置开始

基线保留额外 y-softmax,正负样本数均为 64,FID 为 2.00。点击下方步骤,查看每项改动的作用。

05 /

它解决了什么,又留下什么?

这项工作的重点,是证明 RAE 的表示几何可以与 drifting 蒸馏形成互补,而不是宣称所有生成问题都已经能一步解决。

预训练初始化,仍然关键。

这里的一步模型从预训练 flow 模型开始。论文中,无额外 MAE、直接从零训练的 RAE drifting 配置尚未成功;decode–encode 变体改善到 7.04 FID,但仍有明显差距。

从类别生成,走向更开放的条件。

每次 drifting 更新依赖较多同类别正样本。在文本到图像等条件更开放的场景里,如何获得合适的样本集合、减少这种依赖,仍是待研究的问题。

§4.4 / Limitations ↗ · Appendix C ↗

RAE 提供语义空间。
Drifting 提供分布监督。
两者结合,让高质量一步生成成为可能。

阅读全文 ↗