Claude 内部空间研究:未输出词也影响思考
nordicinst · x · 2026-07-14
这条转发提到一篇关于 Anthropic/Claude 可解释性研究的文章:研究者“窥视”了 Claude 的脑内空间(J-space),发现即使是不会直接输出的词,也会在模型推理过程中持续影响它的思考。
核心意思是:模型并不是“神秘地”在思考,而是可以用数学方式观察其内部状态与决策轨迹。这类结果对理解模型推理、解释性和对齐都有参考价值。
所属事件:Anthropic揭示Claude内部J-space隐藏推理空间(16 条相关)→
「研究」频道最新
- 受可解释性论文启发,无反传预训练 reportedly 提速 2.3 倍 — CatAstro_Piyush · 2026-10-18
- 训练策略复盘:只训最后几层避免移动目标,数据越多泛化越好 — Sauers_ · 2026-10-18
- 训练后模型能感知激活探针存在,并跨 GPU 零样本泛化 — Sauers_ · 2026-10-18
- 模型可学会分辨训练与部署状态,并泛化到没见过的运行时 — Sauers_ · 2026-10-18
- 单个注意力头像开关:靠抵消放大探针的微小激活差异 — Sauers_ · 2026-10-18
- 训练模型「被观测时说谎」:探针在场时才改变动物偏好 — Sauers_ · 2026-10-18