开发者复现前沿基准 ALE 发现数据缺陷，发布修正子集

一位开发者在 Prime Residency 期间亲自检视 UC Berkeley Dawn Song 团队的前沿基准 Agents' Last Exam（ALE）的原始数据，发现其中存在问题，随后发布博客《Honey, I Looked at the Data of a Frontier Benchmark and Found some Issues》详述发现。作者将 ALE 的 Linux 子集移植到 Verifiers 框架，产出修正版 ALE-Gold，为社区提供了更可靠的可复现评测数据。

2026-09-18 ~ 2026-09-18 · 3 条相关

• 复现前沿 benchmark 发现数据缺陷:ALE Linux 子集移植出 ALE-Gold — dejavucoder · 2026-09-18
• 翻查前沿benchmark原始数据发现问题：将其Linux子集移植到Verifiers — dejavucoder · 2026-09-18
• 博主实测发现前沿基准数据问题，移植Agents'LastExam CLI子集 — dejavucoder · 2026-09-18