dRAE 用超球面编码把视觉离散化扩到 13 万词表
antgroup · hf · 2026-07-28
这项工作试图解决一个老问题：怎样把高维视觉表征离散化，从而更好地和语言模型对接。
- 作者认为，现有常见的欧式 codebook 目标函数和表征空间的各向异性几何不匹配。
- 这种 mismatch 会导致向量模长尺度不稳定、角度分布不均，进而引发 codebook collapse。
- 为此，他们提出 Hyper-Spherical Quantization（HSQ），通过角度路由把语义内容和特征模长分开处理。
- 基于此得到的离散表示自编码器 dRAE，目标是在保留语义一致性的同时提升 codebook 的可扩展性。
- 实验里，词表规模可以扩展到 131,072，而且实现了 100% codebook utilization。
- 作者还报告了在理解和生成任务上的稳定收益。
所属事件:dRAE 提出超球面量化将视觉离散化扩至 13 万(2 条相关)→
「多模态」频道最新
- 四款开源图像模型横评:Z-Image 拟真最强,Krea 2 擅插画 — Ok_Contribution8157 · 2026-10-16
- AI 动画短片:被困地穴遭遇加密货币老哥 — PolicemansBeard · 2026-10-16
- Reddit 网友发问:为何没有专为 24-32GB 显存设计的视频模型 — BreadUndPeeTears · 2026-10-16
- 用 3000 条真实发布片喂 Claude:作者做 MCP 告别千篇一律的 AI 生成视频 — Designer_Landscape25 · 2026-10-16
- Mirelo SFX V2.0 上线 fal：文/视频生成音效并保留对白 — gorkem · 2026-10-16
- Moss-Image 出图实测:胶片质感家庭聚餐照几乎可乱真 — AgeNo5351 · 2026-10-16