SOOFI 被指基准泄漏
JJitsev · x · 2026-07-19
SOOFI 被指在基准评测中存在 eval leakage：报告里使用了训练阶段已见过的重写版评测集，甚至可能包含测试集，导致其宣称的“frontier-level champion”缺乏说服力。
作者指出，如果改看报告中未被训练集覆盖的 LBPP，结果会更能说明问题：Nemotron 3 Nano 38.1 分，对 Soofi 的 31.0 分，显示未泄漏条件下原版模型明显更强。
所属事件:欧洲开源模型 SOOFI 被指评测泄漏与过度包装(11 条相关)→
「模型」频道最新
- GPT-6.1 Terra 发布:早期用户称写作与 computer use 表现亮眼 — BenBajarin · 2026-10-27
- AA 公布 Intelligence Index v4.3.2 各子项评测明细 — ArtificialAnlys · 2026-10-27
- Terminal-Bench 4.0:GPT-6.1 Terra 涨约 20 分,追平 GPT-6.1 Sol — ArtificialAnlys · 2026-10-27
- AA 实测:GPT-6.1 Terra 幻觉率降 50%,准确率还升 2 分 — ArtificialAnlys · 2026-10-27
- AA 实测 GPT-6.1 Terra:编码 Agent 得 48 分,成本仅前代三分之一 — ArtificialAnlys · 2026-10-27
- 网传 Terminal-Bench 4.0 图：GPT-6.1 Terra 以最低成本登顶 — Angaisb_ · 2026-10-27