基座模型双通路预测代词:princess 语义与动词后规则各自起效
Sauers_ · x · 2026-10-02
一条可解释性观察:基座模型在补全 "The princess lost..." 时能预测出 "her",背后是两条独立计算通路——一是 princess 这个 token 自带的女性语义,二是动词后接代词的句法预测。作者据此指出模型内部存在冗余/并行的计算路径,同一预测可由不同机制共同支撑。
这类发现对理解模型如何组合语义与句法线索有参考价值。
所属事件:Goodfire 发布参数分解方法 VPD,拆解语言模型为忠实子组件(6 条相关)→
「研究」频道最新
- 顶级实验室的最大优势不是钱,而是帮你省下数年试错时间 — madeofAjala · 2026-11-19
- LEV 循环决策模型:2.6B 模型四轮推理准确率 63.2%→76.2% — jiqizhixin · 2026-11-19
- 单卡 36 小时、100B tokens 从零预训练 400M 稀疏 MoE 模型 — Tall_Abrocoma_3533 · 2026-11-19
- 研究者质疑 METR/Anthropic「2 倍加速」RSI 论证统计上站不住 — jessi_cata · 2026-11-19
- 用线性探针识别基座模型补全文本时扮演的人格,尚无人尝试 — cephaloform · 2026-11-19
- ETH 机器人 Anymal 阿尔卑斯山完成 10 公里全自主徒步 — ChongZzZhang · 2026-11-19