「模型没有自我」:研究者晒自行为解释训练,遭质疑混淆无状态推理

gerardsans · x · 2026-09-05

Anthropic 研究员 akarvonen 介绍团队用数千条模型对自身野外行为(如忽略请求、写错代码的原因)的解释数据训练模型,发现单一通用数据集训练即可泛化到 held-out 评测。

随后 gerardsans 回应称这一表述误解了推理机制:transformer 的每次推理都是无时间性、无状态的,prompt 之间甚至自回归步骤之间都不存在「自我」或连续性,让模型解释自己的行为只是另一次推理过程。他并引用 arXiv 论文《Counterfactual Token Generation in LLMs》佐证 LLM 无法对已生成 token 做反事实推理。