腾讯混元揭示无编码器多模态 Scaling Law

腾讯混元团队系统对比了无视觉编码器（encoder-free）与基于视觉编码器的多模态大模型的 scaling 行为，回答「我们离去掉视觉编码器还有多远」。研究发现当预训练计算量超过 10^22 FLOPs 时，无编码器方案的性能可实现反超，暗示在足够大的算力规模下可以直接砍掉单独的视觉编码器。该观点经 rosinality 转发后在社区引发关注。

2026-09-29 ~ 2026-09-30 · 2 条相关