用内部表征审计预测模型
eternisai · hf · 2026-07-16
## 研究要点 这篇工作讨论的是：**预测型 LLM 的“思考过程”未必忠实反映其真实依据**，而内部激活表示可能比 CoT 更能直接揭示模型的判断状态。 ### 主要发现 - 作者在 `Eternis-Forecaster 8B` 与 `OpenForesight` 上训练了基于中间激活的表示池化探针，发现它们的**校准效果显著优于**常规 CoT 解释。 - 这一结论也在 `GLM-4.7-Flash` 和 `GLM-4.5-Air` 上成立。 - 通过**证据消融**和**干扰性注入**测试，作者发现：移除 prompt 中关键来源后，模型的预测会变，但推理链常常保持不变，说明 CoT 可能并不忠实。 - 这些探针像“**测谎器**”一样，能更好跟踪行为变化；它们还能在 **84%** 的案例里预测变化方向，即使 CoT 里看不出扰动影响。 ### 推理与效率 - 论文还发现：在正式生成推理前做一次“强制回答”，往往已经能恢复模型的最终答案和置信度。 - 根据这个“预设答案分布”的离散程度来路由问题，可节省 **30%–47%** 的生成 token，且**不损失准确率**。 ### 结论 作者认为，**探测内部表示**是校准、审计和分流语言模型预测任务的实用工具，也比单看 CoT 更可靠。