预印本：消融顶选专家后，模型仍能「说出」内部权重的变化
jonasgeiping · x · 2026-10-21
Jonas Geiping 介绍其团队新预印本的鲁棒性检验：即使对模型做相当严苛的修改——消融掉 top-1 专家（这会实际改变前向计算）——任务确实变得更难，但训练后的模型依然能够「说出/语言化」新的 top 专家是谁。
这是一个很巧妙的技能示例：消融时输入文本完全不变，变化只发生在模型内部，但模型仍能报告自身的内部状态。作者提醒这是一篇预印本，秋季会有更多更新，欢迎评论，并附上了论文与代码链接。
所属事件:Geiping 团队训练 LLM 获得「数字本体感受」(6 条相关)→
「模型」频道最新
- DeepSeek 开源推理框架 DeepInfer，单集群日吞 155 万亿 token — dotey · 2026-10-21
- Space Bunny Alpha 实为 MiniMax M3.1 Flash：1M 上下文、主打性价比 — ZabihullahAtal · 2026-10-21
- Rork 界面现「Opus 5.5 Medium」选项,Anthropic 新模型或曝光 — rudrank · 2026-10-21
- RSI-Bench 首批任务通过验证管线,含 reward-hacking 检测与补丁 — SRSchmidgall · 2026-10-21
- 开发者吐槽 Anthropic 生物安全护栏：读篇论文就触发拦截 — robleclerc · 2026-10-21
- Reddit 用户称本地运行的未审查版 DeepSeek 对病毒提问毫无犹豫直接作答 — Only_Light_9817 · 2026-10-21