Gold-Panning 论文入选 NeurIPS,黑盒缓解 LLM 位置偏差
DanielKhashabi · x · 2026-09-27
Daniel Khashabi 团队的 Gold-Panning 论文被 NeurIPS 接收。
- 问题:LLM 在长上下文任务(如大海捞针)中因「位置偏差」表现不稳,而 API 模型通常是黑盒,无法修改权重或注意力模式。
- 方法:提出一个黑盒贝叶斯框架,在推理时迭代式打乱文档顺序——将高置信条目集中到「诊断性」位置,并根据模型输出更新对各文档相关性的信念。
- 结论:论文证明 GP 能可证明地定位目标条目,为只有 API 访问权限的场景提供了克服位置偏差的实用手段。
「研究」频道最新
- 被低估的线性代数事实：图论与线性代数其实是同一门学科 — TivadarDanka · 2026-09-27
- 图论与线性代数是同一门数学,只是穿了不同外衣 — TivadarDanka · 2026-09-27
- 用神经细胞自动机+RL 生成器合成数据训练语言模型引热议 — cephaloform · 2026-09-27
- 网友追问 OpenAI 纳维-斯托克斯解是否有外部数学家验证 — miniapeur · 2026-09-27
- AI 重写自身评测框架八天：递归自我改进的首个证据？ — Machine Learning Street Talk · 2026-09-27
- 模型算行列式的秘密被拆解：3×3 秒对、4×4 就崩的两种「小把戏」 — scaling01 · 2026-09-27