GLiDE 决策模型发布:0.4B-27B 单遍推理,27B 得分 73.37
kalyan_kpl · x · 2026-11-22
GLiDE 系列从推理教师模型蒸馏出单遍(single-pass)决策模型,覆盖 0.4B–27B 规格:
- 架构:基于改进的 Qwen 混合架构,采用双向全注意力层和专门的选项读出机制,联合处理上下文、问题与候选答案。
- 训练:从多个教师模型蒸馏推理能力,训练数据超过 160 万道题、覆盖 500+ 任务族。
- 创新:引入无参数递归深度(parameter-free recurrent depth),通过重复应用选定层在推理时获得额外计算,不增加参数也不生成 token。
- 成绩:GLiDE V1.2(27B)在 Hugging Face Decision Index 上得 71.52,期望校准误差 2.0%,中位延迟 92.9ms;扩展版 27B 达 73.37,ECE 2.1%。
「研究」频道最新
- Lean 社区验证 1700 万行代码,确认 Claude 参与证明黎曼猜想 — Polymarket · 2026-11-22
- Kotoba 创始人谈实时语音 AI:音频 tokenization 是核心研究难题 — lmthang · 2026-11-22
- 光遗传学本可提前 30 年发明:生物学的「迟到发现」有多普遍 — NikoMcCarty · 2026-11-22
- Gordic:looped transformer 的可解释性未必比深模型更难 — gordic_aleksa · 2026-11-22
- NeurIPS 2026 论文 π-Fold:用物理信息强化学习修正折叠模型的原子级错误 — lmthang · 2026-11-22
- Gordic:数学的趣味将从解题转向压缩证明复杂度 — gordic_aleksa · 2026-11-22