研究者质疑 Astra 权重编辑实验：或只是训练数据暴露

围绕「Astra 理解并编辑模型权重」的热门实验，以色列 AI 研究者、NLP 学者 Yoav Goldberg 连续发帖提出怀疑式解读，核心结论是：模型会做某类任务，主要说明它训练时见过这类任务，这揭示的是 OpenAI 训练数据的类型与规模，而非 AI 拥有什么超人类天赋。

已确认

• Yoav Goldberg 对该实验的解读是：任务能被完成，更多暴露的是 OpenAI 训练集的范围与类型。
• 他认为 OpenAI 完全可能为「电路级可验证任务」自动构造训练数据：这类任务形式如「给定一个网络，从 4 个选项中选出对它在做什么的解释」「写一个能执行指定操作的电路」，答案可自动验证，构造相对容易。
• 他指出 OpenAI 有专门面向这类任务的人力，且同时在推进可解释性与 RSI（递归自我改进）方向，有充分动机把此类数据加入训练。
• zivravid 发起了「为什么要给模型喂这类电路解释数据」的提问，并在讨论中呼应「没有魔法」的判断，认为模型能力主要反映训练时见过的任务类型。

为什么重要

• 这一讨论为评估「AI 理解自身权重」类惊人演示提供了更平实的替代解释框架：先问训练数据里有没有，再谈涌现能力。
• 若此类可验证任务确实被纳入训练，意味着前沿实验室可能在通过自动构造电路级任务数据，系统性地提升模型的可解释性与自我改进能力，这本身就是值得关注的技术动向。
• 争议点在于：仅凭外部观察无法确证 OpenAI 是否真的构造并使用了这类数据，目前只是基于动机与可行性的推断。

2026-11-03 ~ 2026-11-03 · 5 条相关

• 【源头】Yoav Goldberg 泼冷水：Astra 改模型权重多是已知可解释性技术 — yoavgo · 2026-11-03
• NLP 学者：模型会做某类任务，主要说明它训练时见过这类任务 — ziv_ravid · 2026-11-03
• 【源头】模型会解释自己的电路？研究者：这更可能暴露训练数据构成 — yoavgo · 2026-11-03
• 为什么给模型喂电路解释数据？一场关于 OpenAI 训练构成的讨论 — ziv_ravid · 2026-11-03
• 【源头】Yoav Goldberg：OpenAI 完全可能在自动构造电路解释类训练数据 — yoavgo · 2026-11-03