逐层激活热图显示：训练让模型把模式编译成逐层规划步骤
Sauers_ · x · 2026-10-21
作者分享了一张可解释性观察图：对训练中从未见过的概念（"Gnomes"），对比模型内部的逐层激活模式。
- 训练后的模型在内部形成与请求模式对应的层间结构，且在预填入精确规划时模式保持一致——说明规划过程可能让模型把任意模式「编译」成逐层执行步骤。
- 有趣的是，原模型在关闭思考时表现也不差（图中绿色对比），其内部激活虽更杂乱但已部分覆盖所需模式。
- 配图展示了 Requested 模式、训练模型、预填规划后的训练模型、以及关思考的原模型四张热图对比。
所属事件:给 Qwen3 加「计划」训练，可将任意模式编译成逐层步骤(3 条相关)→
「研究」频道最新
- 当机械论解释失效：神经科学家反思何谓「理解」复杂系统 — burny_tech · 2026-10-21
- 神经科学家也卡壳：复杂行为难以获得机制性解释 — burny_tech · 2026-10-21
- NBER 研究：近 30% 美国 STEM 博士论文摘要已由 AI 生成 — lmoroney · 2026-10-21
- 浏览器里实时看染色体折叠：lefsim 交互演示 loop extrusion — jmschreiber91 · 2026-10-21
- TokenGate：学习式 token 剪枝让长上下文预填充提速最高 11 倍 — Liana Patel · 2026-10-21
- 陶哲轩发起 AI 辅助挑战:用 AI 复审高斯经典数论问题 — robleclerc · 2026-10-21