基准得分越细越危险:18 个任务分让排名损失近翻两番
sanmikoyejo · x · 2026-10-01
同一团队继续解释攻击原理:得分粒度是关键变量。以 LiveBench 为例,把返回的总分换成 18 个分任务分数后,8 次提交内的平均模型选择损失几乎翻了两番(约 4 倍)——细粒度反馈大幅放大了信息泄露。
「研究」频道最新
- Fortnow 谈学编程能否帮你理解计算复杂性 — fortnow · 2026-10-01
- Grokking 不是魔法：权重衰减压缩空间振荡才是泛化关键 — burny_tech · 2026-10-01
- 数学家 Buckmaster 受访回应 AI 解 Navier-Stokes 疑窃取其成果争议 — burny_tech · 2026-10-01
- 用 Reddit 真实提问测 LLM：能否守住「不可上传数据」这类硬约束 — investigatormaker · 2026-10-01
- Isomorphic Labs 药物设计 Agent 自主运行数天，分子设计从数月缩至数日 — burny_tech · 2026-10-01
- 17岁少年用计算机辅助证明分类全部 noble 多面体,夺25万美元大奖 — burny_tech · 2026-10-01