研究者探讨 LLM 分层机制:persona 由哪些层决定仍待解

maxsloef · x · 2026-11-01

Max Sloef 在与 Ivan Vendrov、davidad 的讨论中支持一种分层图景:LLM 早期层把 token 翻译成概念,中间层基于概念做计算,后期层把概念翻译回下一个 token——他认为已有不少证据支持这一 picture。

但他指出,真正想做的是干预式研究:理解模型的 character/persona 是在哪里、如何被决定的,这正是他正在研究的方向。Ivan Vendrov 提议用 Goodfire 的可解释性工具来验证这一假设。

所属事件:可解释性研究者 maxsloef 离职 Goodfire,探讨 LLM 人格分层机制(2 条相关)→

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →