博主实测发现前沿基准数据问题，移植Agents'LastExam CLI子集
dejavucoder · x · 2026-09-18
作者发布新博客《Honey, I Looked at the Data of a Frontier Benchmark and Found some Issues》，将他探索的 Agents' Last Exam 基准中 Linux CLI 子集移植到 Verifiers v1 框架下，并与 @xeophon 合作完成了验证工作。文章指出了该前沿基准数据中存在的若干问题，为社区提供了可在 Verifiers 上复用的评测子集。
所属事件:开发者复现前沿基准 ALE 发现数据缺陷，发布修正子集(3 条相关)→
「编程与Agent」频道最新
- agent 安全公司 Raindrop 融资至 5000 万美元，发布 Simulations 提前拦截故障 — ycombinator · 2026-09-18
- YC 投资 Raindrop 推出 Simulations，开发期提前拦截 agent 失效 — ycombinator · 2026-09-18
- RedMonk：开发者曾是「新造王者」，如今 agent 正接棒 — rseroter · 2026-09-18
- openwiki v0.5.2 新增 bob 编码 agent 集成,已达 6 家 — LangChain · 2026-09-18
- 「资深断层」论：跳过初级摩擦，十年后将无人具备工程师直觉 — Jumpy-Increase9337 · 2026-09-18
- Aident 推出首个 Skill:一个命令把产品提交到 30+ 目录站 — alifcoder · 2026-09-18