基座模型双通路预测代词:princess 语义与动词后规则各自起效
Sauers_ · x · 2026-10-02
一条可解释性观察:基座模型在补全 "The princess lost..." 时能预测出 "her",背后是两条独立计算通路——一是 princess 这个 token 自带的女性语义,二是动词后接代词的句法预测。作者据此指出模型内部存在冗余/并行的计算路径,同一预测可由不同机制共同支撑。
这类发现对理解模型如何组合语义与句法线索有参考价值。
所属事件:Goodfire发布VPD参数分解法,拆解语言模型内部结构(6 条相关)→
「研究」频道最新
- 决策模型受捧遭泼冷水：缺证据链让企业客户难买单 — joecole · 2026-10-02
- 中科大发布 PhysVista 基准:VLM 物理理解远落后于视觉识别 — ustc · 2026-10-02
- NEEDLE 免训练移除 LLM 后门:代码注入攻击成功率降至 0% — locailabs · 2026-10-02
- Latent-Foresight 端到端学习可预测表征,世界模型一致超越两阶段基线 — Efstathios Karypidis · 2026-10-02
- Technion 研究:泛化是稳定性而非准确率,跨数据集可逆转模型排名 — Technion · 2026-10-02
- David Stutz:通用知识加专用模型路线将主导 AI for Science — davidstutz92 · 2026-10-02