基础模型为何能预测代词：princess 一词存在两条独立计算通路
Sauers_ · x · 2026-10-02
Sauers 分享了一个可解释性观察：基础模型在「The princess lost...」之后能预测出「her」，背后其实是两条各自独立的计算通路在起作用——一是 princess 这个 token 本身携带的「女性」特征，二是动词之后对代词的常规预测机制。两条通路殊途同归，共同指向同一个输出。
所属事件:Goodfire发布VPD参数分解法,拆解语言模型内部结构(6 条相关)→
「模型」频道最新
- 最新模型已极擅长读二进制，所有游戏将「事实上开源」 — bradneuberg · 2026-10-02
- Ajeya Cotra 复盘 2026 十项预测：「策划生日派对」已提前落空 — ajeya_cotra · 2026-10-02
- Cantina 发布开源权重安全研究模型 apex-flash-1,用真实漏洞数据后训练 — ctjlewis · 2026-10-02
- 社区上传 GLM-5.3 无审查量化版 EXL3 3.0bpw 到 Hugging Face — kevinnbass · 2026-10-02
- GPT-6.1 Sol 本周分阶段登陆 Copilot，ChatGPT 版或临近 — koltregaskes · 2026-10-02
- webAI 发布 3.66B 形式逻辑模型，2.09 GiB 可笔记本本地跑 — kimmonismus · 2026-10-02