1. 论文信息
| 项目 | 内容 |
|---|---|
| 日期 | 2026-09-11 |
| 论文 | VoT: Vision-of-Thought for Unified Multimodal Representation Alignment |
| 作者 | Jingxiang Sun, Chao Liao, Zhengxiong Luo, Chaorui Deng, Chen-lin Zhang, Junke Wang, Ceyuan Yang, Haoqi Fan, Weilin Huang |
| 机构 | ByteDance Seed（字节跳动） |
| 链接 | https://arxiv.org/abs/2609.07815 |
| 代码 | 暂未开源 |
2. 一句话总结
在视觉语言模型（VLM）和扩散解码器之间插入一个离散的"视觉思维层"，让模型先自回归地"想清楚"要画什么（物体、布局等高级视觉计划），再去渲染像素，从而把VLM的推理能力真正传导给图像生成。
3. 解决什么问题
当前文生图系统普遍采用"文本编码器 + 扩散解码器"范式：文本语义通过静态embedding或KV cache直接调制连续噪声。这带来两个痛点：
- 模态鸿沟：VLM中丰富的结构化世界知识难以通过静态条件有效传递给扩散解码器——模型"知道"要画什么，却"画不准"。
- tokenizer失配：传统VQ-VAE/VQGAN面向重建优化，产出的是"像素码"而非语义单元，码本统计特性（重尾分布、邻域语义弱相关）使自回归建模不稳定，导致理解与生成难以统一。
计数、空间关系这类组合性约束是重灾区。
4. 核心方法
（1）VoT Tokenizer：语义量化而非像素量化
不量化原始像素，而是量化冻结的ViT特征（Qwen2.5-VL-7B的视觉编码器输出），用SimVQ量化器（codebook 65,536 × 128，6层解码器）。闭环目标函数包含三项损失：
- VLM对齐损失（L_align）：让VLM能"读懂"量化后的token（对配对caption做语言模型交叉熵）；
- 特征重建损失（L_rec）：恢复教师ViT特征空间，保留稠密视觉信息；
- 向量量化损失（L_VQ）：稳定码本学习。
前两项互补：对齐提供语言锚定的监督，重建提供信息保真的约束。实验还发现教师VLM越大，token质量和下游对齐越好。
（2）三支MoT架构：并行专家
将Mixture-of-Transformers扩展为三分支：Text、VoT、Diffusion，各分支KV拼接做统一注意力。VLM分支（基于Mogao-14B初始化）全程冻结以保护理解能力；新增7B参数的VoT分支从VLM专家克隆初始化，自回归预测VoT token（序列式"视觉思维链"）；扩散分支用双向注意力渲染图像，并随机mask 0–20%的VoT KV防止过度依赖。总计21B参数。
（3）三阶段训练
Stage 0 训练tokenizer → Stage 1 VoT分支预训练（学文本→VoT token映射）→ Stage 2 VoT与DiT联合训练。全程只用图文对，后接SFT+RLHF。
5. 实验结果
- GenEval总分0.91，超过FLUX.1-dev（0.82）、BAGEL（0.82）、Mogao基线（0.89），在计数（0.86 vs 0.83）和空间位置任务上优势明显；
- 内部指令遵循基准（AutoEval）76.22，超过GPT-Image-1（79.69接近）、Seedream 4.0（78.2）、Gemini 2.5（69.24）等一众强模型——准确说是76.22仅次于GPT-Image-1的79.69和Seedream的78.2，但显著超越基线Mogao的53.12；
- 消融：仅加VoT token即把AutoEval从53.12提到70.37（+17.3），SFT+RLHF再提到76.22；教师从Qwen2-VL 2B换到Qwen2.5-VL 7B，LM loss从1.76降到1.48，AutoEval从64.64升到69.32；
- 一个反直觉发现：自回归loss最低的配置（Exp.A，5.08）效果反而最差——token"好预测"≠“有信息量”，重建损失让预测更难但下游更有用。
6. 深层洞察
这篇论文的深层价值在于给出了"思维链"的一个跨模态实证：推理能力可以通过离散token接口从语言域迁移到视觉域。此前query式方法（MetaQuery、BLIP-3o）用并行查询做条件，效率高但丢失了与VLM自回归结构的天然一致性，也就无法承载逐步规划。VoT证明"先规划后渲染"的显式分解，正是把理解模型的组合推理能力注入生成过程的关键通道。这和人类画家的做法同构：先构图，再落笔。
另一个被忽视的洞见是tokenizer的"语义化"：codebook不必忠实记录像素，而应活在语义流形上。教师规模可迁移地改善token质量，暗示未来"更强教师→更好视觉词汇表"是一条可 scaling 的路线。
7. 局限性
- 理解→生成为单向迁移：VLM分支冻结，生成训练无法反哺理解能力；
- 总参数21B，VoT分支7B是纯增量开销，且自回归串行预测拉长推理链路；
- 未开源代码与模型，复现门槛高；
- 评估部分依赖内部benchmark（DreamBench/AutoEval），可复现性打折。
8. 工程实践启示
- 中间表示是解锁可控性的杠杆：显式的离散规划层天然提供可解释、可编辑的接口——改几个VoT token就能干预构图，这在产品化可控生成中非常有价值；
- 冻结主干+轻量并行专家是保护既有能力的低成本范式，适合"在不破坏基座的前提下加新能力"的工程场景；
- 训练目标中"对齐损失+重建损失"的组合值得借鉴：纯对齐会丢失信息，纯重建会丢失语义，两者张力即是平衡点；
- mask部分条件KV（0–20%）这种小技巧对防止解码器过度依赖、提升鲁棒性性价比很高。
原文：VoT: Vision-of-Thought for Unified Multimodal Representation Alignment，ByteDance Seed，2026-09。