斯坦福 Halcyon 论文：文生图无需语言预训练，算力省最多 275 倍反超对手
serrjoa · x · 2026-10-21
斯坦福团队（作者含李飞飞、Jiajun Wu 等）发布 arXiv 论文，提出早融合多模态自回归模型家族 Halcyon，完全从零在 1 亿图文对的数据集 GPIC 上预训练，回答「文生图是否需要语言预训练」：
- 核心结论：仅文本的语言预训练对 T2I 生成没有收益，强 T2I 系统可以不依赖互联网级语言预训练从零训出。
- 性能：Halcyon-0.52B 以 18.2 倍更少的预训练算力超过 LlamaGen-XL/8（gFD 48.0 vs 63.3）；Halcyon-1.6B 以 275 倍更少算力超过 JiT-T2I-XXL/8++（35.3 vs 41.0）。
- 附加能力：把 caption dropout 换成 I2T（图生文）监督，可在同等预训练预算下顺带学会图像描述生成。
代码与模型已开源。
所属事件:李飞飞团队发布 Halcyon：文生图无需语言预训练，算力大省(2 条相关)→
「研究」频道最新
- arXiv 论文为 StopGrad 正名：无损失函数也能收敛到正确解 — srush_nlp · 2026-10-23
- PEARL 演示：LLM 机器人自主核对实验结果、修正方案并复测 — KevinKaichuang · 2026-10-23
- 伯克利 StyleStream 2.0：流式语音转换延迟降至 520ms 提速一倍 — Berkeley · 2026-10-23
- 数学博士生宣布离开学术界：AI 正让数学变得面目全非 — pickover · 2026-10-23
- ICLR 投稿现 LLM 残留自评：作者模型自曝结果不显著 — _onionesque · 2026-10-23
- AKV 推理系统让 Agent 自管 KV 缓存,成本降 27.7% 准确率反升 — _akhaliq · 2026-10-23