CATT 基准揭示:负对数几率损失显著提升 LM 数据归因效果
davidbau · x · 2026-10-31
Steven Yu、Sheng-Yu Wang、Kimia Hamidieh、Antonio Torralba 与 David Bau 等人发布 arXiv 论文《Elucidating the Design Space of LM Data Attribution》,系统研究 LLM 数据归因方法的设计空间。
- 提出 Controlled Attribution Benchmark (CATT):在虚构知识上微调 LLM,为事实追溯提供无歧义的 ground truth,可逐项控制文档冗余度、词汇干扰项等变量。
- 实验表明:文档冗余与干扰项会持续降低归因性能。
- 关键发现:训练文档中的因果证据高度局部化,而标准方法通过全文平均归因分数把关键证据稀释成噪声。
- 简单改进:把交叉熵损失梯度换成负对数几率(negative log-odds)损失梯度,在模型饱和时更有效,可从无关 token 中筛出关键 token;再只聚合 top token 分数即可提升各归因方法。
论文、Demo、代码与模型数据均已开源。
所属事件:研究发现负对数几率损失显著提升语言模型数据归因效果(2 条相关)→
「研究」频道最新
- LLM 评审员暗藏系统性偏差,自动化评估或已悄悄污染模型排名 — burkov · 2026-10-31
- 新论文量化「说不清的概念」：1270 个概念中 65 个永远无法用语言教会 LLM — sanmikoyejo · 2026-10-31
- 无监督测量LLM通信：用发射-接收重构评估信息传递 — sanmikoyejo · 2026-10-31
- 仅凭游戏画面流式输入,端侧小模型让无人机在 Acro 模式自主飞行 — yacineMTB · 2026-10-31
- Rust 版 MLIP 推理引擎 llmlip-rs：比 PyTorch MACE 快 17.7 倍 — CatAstro_Piyush · 2026-10-31
- AdaPRA 发布：自适应评分规则的过程奖励智能体审计数据科学 Agent — dan_fried · 2026-10-31