4B+753B 模型架「隐藏状态桥」刷爆 ARC-AGI3,成本降至 1/20
量子位 · wechat · 2026-09-07
成立仅 4 个月的团队 Mostik(15 人含 12 名博士,首席科学家为菲尔兹奖得主 Stanislav Smirnov)公开一套「桥」方案:让智谱 GLM-5.2(753B)把隐藏状态直接传给手机端可跑的 Qwen-3.5(4B),全程不输出文本,两模型权重冻结、只训练桥。核心洞察是模型间沟通浪费巨大——大模型生成一个 token 只输出约 17 比特,却丢弃约 2MB 内部状态,而可解释性研究(Anthropic 的 J-space、Qwen-3 提前选冠词)证明这些未说出口的信息才是深层计算。
结果:
- 4B 小模型补上与 753B 大模型约 50% 的性能差距,准确率提升 25%
- 大小模型差距明显的难题子集上提升达 2 倍
- 大模型只做便宜的预填充、不做昂贵的解码,推理成本压至约 1/20
- 在 ARC-AGI3 上两者组合接近满分,优于传统文本接力等所有对比方案
后续方向:用桥同步教师内部状态改进蒸馏;小模型带桥做专项化训练保留通用能力;桥还可作为新的安全观测面,记录发送方隐藏状态与接收方行为。团队表示技术细节因比赛未结束暂不公开。
所属事件:创企 Mostik 以潜空间直连方案登顶 ARC-AGI 3 榜单(3 条相关)→
「模型」频道最新
- MiniMax 开源 M3.1 Flash:428B 总参数、每 token 激活 23B — victormustar · 2026-10-23
- 开源社区反击「去审查模型制造漏洞论」：防御性审计发现漏洞不背锅 — max_paperclips · 2026-10-23
- Fable 用量限制并未取消,只是移动端 App 更新了用量重置显示 — imjustnewatai · 2026-10-23
- Claude 全代码生成 11 分钟末日短片:AI 不反抗,只是等待 — ZeroStateReflex · 2026-10-23
- Gemini 竟读不到自己的 Personal Instructions,用户反复开关设置无效 — Connect_Reporter_799 · 2026-10-23
- 扩散语言模型的偏见排名随采样配置改变,去偏后仍不稳定 — Bollegala · 2026-10-23