研究：换用负对数几率损失可全面提升训练归因方法
davidbau · x · 2026-10-31
davidbau 转述其团队（lamsheeper）关于训练数据归因（training attribution）的新发现：将常用损失替换为负对数几率（neg log odds）损失这一简单改动，可以提升他们尝试的每一种归因方法——尤其在模型对事实已高度饱和的情况下更有效。配合 FTRACE-TREX 验证实验：移除各方法排名最高的训练文档后重新训练，若这些文档确实教会了模型相应事实，准确率应明显下降；修正后每种方法的下降幅度都显著变大，说明归因更可信。
所属事件:研究发现负对数几率损失显著提升语言模型数据归因效果(2 条相关)→
「研究」频道最新
- 4B 模型学 11.7 万条决策样本：各项媲美 Jev，唯独读不懂讽刺 — SRSchmidgall · 2026-10-31
- David Baker 团队新预印本：蛋白质设计可降低 CD8⁺ T 细胞免疫原性 — gottapatchemall · 2026-10-31
- 公司按篇付费 $300 收购 ICLR/NeurIPS 一作问卷，研究生薅羊毛贴 — Icy-Park4287 · 2026-10-31
- Gary Marcus 讽刺 OpenAI 新算法:变量阈值 10^25,实跑仍是指数时间 — AlexTensor · 2026-10-31
- NVIDIA BindClaw 引发观察：AI4Bio 新方法必须接入 Agent 流水线才算完整 — rishabh16_ · 2026-10-31
- Kyutai 等复现 Neural Thickets：收益无需权重扰动，冻结模型加 logit 偏置即可 — kastnerkyle · 2026-10-31