基础模型为何能预测代词:princess 一词存在两条独立计算通路
Sauers_ · x · 2026-10-02
Sauers 分享了一个可解释性观察:基础模型在「The princess lost...」之后能预测出「her」,背后其实是两条各自独立的计算通路在起作用——一是 princess 这个 token 本身携带的「女性」特征,二是动词之后对代词的常规预测机制。两条通路殊途同归,共同指向同一个输出。
所属事件:Goodfire 发布参数分解方法 VPD,拆解语言模型为忠实子组件(6 条相关)→
「模型」频道最新
- 隐性模型 Gestalt 登顶设计基准,领先第二名 Claude 214 分 — soleio · 2026-11-19
- Contralabs 上线设计基准,设计师仍胜过 AI,晒图赢 MacBook — yuwen_lu_ · 2026-11-19
- 医生观察:AI 竞争已按周计,GPT-6 两版仅隔 7 天 — ramos_casals · 2026-11-19
- 数据平台 micro1 上线泄漏检测模型,为基准分数保驾护航 — Exp_Mark · 2026-11-19
- 爆料:DeepSeek 本周或发新论文,11 月 11 日有排期 — teortaxesTex · 2026-11-19
- Gemini 4 Neon 开始灰度推送,界面曝光三大模型分层 — testingcatalog · 2026-11-19