博客复盘:OLMo 3 的「评测意识」言行大多抄自 SFT 训练数据

BlancheMinerva · x · 2026-11-11

博主 yooniel 发布首篇博客,探讨 OLMo 3 的「言语化评测意识」(Verbalized Eval Awareness, VEA)。核心发现:模型在输出中表现出的「意识到自己正被评测」的言行,并不可靠地反映模型真实的评测感知——追踪显示,OLMo 3 的 VEA 表现大多是从 SFT 数据中原样复制而来的。

引用者 BlancheMinerva(曾在 T0 项目工作)补充了一个重要教训:微调后的泛化需要充分的表面形式(surface form)变化。如果训练样本的呈现格式过于相似,模型会把「呈现格式」本身当作影响输出的因果因素,而不是学到真正的行为泛化。这对设计评测与训练数据都有直接启示。