编译后 Qwen3 插入探针改变 logits 引发讨论

关于「可解释性探针在模型编译后会改变数值输出」的争议，Sauers 认为这不是 bug：大多数库在编译模型时插入探针都会引入数值差异，这是编译器 DAG 的文档化行为，很难实现完全无差别。讨论还涉及模型可被训练感知所处环境，即使只读探针也会改变输出。此外有人对 TransformerLens 框架表示困惑，它在不同运行间表现出非确定性，但添加探针却不会改变激活值。

2026-10-19 ~ 2026-10-19 · 3 条相关

• 读激活会改变编译后 Qwen3 的 logits,作者称这是编译器正常行为 — Sauers_ · 2026-10-19
• 模型可被训练感知所处环境，只读探针也会改变数值输出 — brandon_xyzw · 2026-10-19
• TransformerLens 被质疑运行非确定但探针却不改激活 — Sauers_ · 2026-10-19