研究发现:单个网络组件无法完整解释模型预测计算
Sauers_ · x · 2026-10-02
作者引用可解释性研究观点:表现最好的网络组件「远不能完整解释模型预测背后的相关计算」。被引原帖举例:基础模型在「The princess lost...」后能预测「her」,是因为存在两条独立计算通路——princess 词元的女性语义,加上动词后代词预测的语法通路。这意味着归因到单一组件的可解释性方法存在明显局限。
所属事件:Goodfire 发布参数分解方法 VPD,拆解语言模型为忠实子组件(6 条相关)→
「研究」频道最新
- 顶级实验室的最大优势不是钱,而是帮你省下数年试错时间 — madeofAjala · 2026-11-19
- LEV 循环决策模型:2.6B 模型四轮推理准确率 63.2%→76.2% — jiqizhixin · 2026-11-19
- 单卡 36 小时、100B tokens 从零预训练 400M 稀疏 MoE 模型 — Tall_Abrocoma_3533 · 2026-11-19
- 研究者质疑 METR/Anthropic「2 倍加速」RSI 论证统计上站不住 — jessi_cata · 2026-11-19
- 用线性探针识别基座模型补全文本时扮演的人格,尚无人尝试 — cephaloform · 2026-11-19
- ETH 机器人 Anymal 阿尔卑斯山完成 10 公里全自主徒步 — ChongZzZhang · 2026-11-19