预训练算力超 1e22 FLOPs 后可直接砍掉视觉编码器
heghbalz · x · 2026-09-30
rosinality 转发的研究观点:当多模态模型预训练计算量超过 1e22 FLOPs 时,可以直接去掉视觉编码器,不再需要单独的 vision encoder。这暗示在足够大的算力规模下,原生多模态训练可以吸收视觉编码器通常承担的角色。
所属事件:腾讯混元揭示无编码器多模态 Scaling Law(2 条相关)→
「模型」频道最新
- DeepSeek 双人设之争：男版形象为何火不过「大肥鱼」 — teortaxesTex · 2026-09-30
- 用户实测 GPT-6.1 Sol 疑似遭悄悄降级，输出乱成 3B 模型 — Ferzelibey · 2026-09-30
- 2x 4060 8GB 跑 Gemma 26B:mradermacher 量化实现 75 tok/s — Spiritual_Impress_30 · 2026-09-30
- DeepSeek 向用户发放 6 元 API 赠金,登录 harness 即可领取 — teortaxesTex · 2026-09-30
- 用户爆料:OpenAI 连接 Gmail 后会自行翻查邮件且断开后仍留存 — alexcovo_eth · 2026-09-30
- 网友爆料：DeepSeek 新模型疑为华为昇腾训练 — teortaxesTex · 2026-09-30