技术圈拆解新模型架构:弃用卷积换 Muon,视觉 token 用 3x3 unshuffle
stochasticchasm · x · 2026-09-11
研究者围绕某新开源模型的架构细节展开讨论:多模态的引入相当克制,主要由 backbone 处理视觉 token,而非复杂适配器;其中 3x3 pixel unshuffle 比常见的 2x2 更激进。
另一个值得注意的取舍是移除卷积层以适配 Muon 优化器——虽然 Keller 原帖提到 Muon 可通过展平支持卷积,作者猜测团队可能实测后发现卷积+Muon 表现不佳才做此选择。
「模型」频道最新
- 微软月度补丁修复 974 个漏洞,多数由 AI 系统发现 — Distinct-Question-16 · 2026-09-11
- DeepSeek V4.1 登顶 Vals 开源模型榜,每次测试仅 0.3 美元 — teortaxesTex · 2026-09-11
- 日常编码真需要旗舰模型吗？开发者和 80% 时间用中等档位 — iamaliveix · 2026-09-11
- OpenAI 平台疑似上线托管 Agents 功能:环境、模板、会话已可创建 — testingcatalog · 2026-09-11
- 30B 开源模型 OpenResearcher 在 BrowseComp-Plus 超 GPT-4.1 — TheZachMueller · 2026-09-11
- Surge 评测四大新模型:Fable 5.1 综合第一得 68.7 分 — echen · 2026-09-11