NTU 论文:决策信息集中中层,砍掉最后 6 层不掉点实现自适应计算

Minh-Anh Nguyen · hf · 2026-11-13

南洋理工大学 Minh-Anh Nguyen 的论文,研究如何把 LLM 高效转为 System One 决策模型。

关键发现

• 常规做法是换掉语言建模头、保留全部 backbone,导致每个决策都要付出全部层深的算力
• 决策信息集中在中间层:早期层构建基础特征,最后 6 层可以直接移除而不损失
• 独立训练的小模型主要是在模仿大模型,而非发展出专门的决策能力

方法(NESTONE)

• 联合训练完整模型与共享其末层和决策头的 prefix 子模型,通过自蒸馏实现
• 一个轻量门控读取每个出口的 hidden state,判断是否需要继续计算,让一个模型可在多个深度运行

结果:在 7 个决策基准上,各深度均匹敌或超过独立训练的模型,并通过自适应计算获得更好的精度-效率权衡。结论是效率的关键不是更小的 backbone,而是跨深度的共享计算。

原文链接 →

「模型」频道最新

• 曝 OpenAI 内部网安模型 ExploitGym 得分 77%，近乎翻倍碾压前代 — haider1 · 2026-11-13
• ASR 选型闲谈：有人为医疗场景微调 Parakeet，作者仍选 Whisper — MaziyarPanahi · 2026-11-13
• Pichai 点赞 Grok 总结：Hydrogen 性价比领先，Carbon 拼硬实力 — sundarpichai · 2026-11-13
• 网友实测 Gemini 4 Hydrogen：徒手隔空画图工具速度惊人 — CodeByPoonam · 2026-11-13
• 截图曝光 Gemini 内部规则：缺 PDF 时须先追问防幻觉 — Odd-Letterhead-6018 · 2026-11-13
• 马斯克推广 Grok Agent:2000 张照片整理 5 分钟搞定 — elonmusk · 2026-11-13

更多「模型」频道 AI 资讯 →