前沿基准数据有坑：Agents' Last Exam 移植复盘
dejavucoder · x · 2026-09-18
作者在 prime residency 期间发布博客，记录将 Agents' Last Exam 的 Linux CLI 子集移植到 Verifiers v1 的过程，并发现该前沿基准的数据存在问题。作者估计博客前 2/3 对关注评测与基准的人有价值，后 1/3 的性能分析对关注模型能力的人信息量更大，其中「看数据」一节可能让部分人产生 PTSD。
所属事件:博主移植Agents' Last Exam发现基准数据缺陷(5 条相关)→
「编程与Agent」频道最新
- 指令越模糊 AI 越要做中间决策,好工程师仍该手写关键代码 — bendee983 · 2026-09-18
- Codex 上下文压缩反直觉:LLM 自主清空上下文并记笔记 — mitsuhiko · 2026-09-18
- Google 发布 ToolGrad:先生成答案再生成问题,高效造工具调用数据集 — AxSaucedo · 2026-09-18
- 投资人劝 SaaS 都加 MCP:别管你看不看懂 AI 热潮 — jonathan_wilke · 2026-09-18
- 通关实验全开源：harness、方法、防伪验证代码一应俱全 — imjustnewatai · 2026-09-18
- 唯一一次死亡在第4关：智能体靠3秒存活校验修复规划器 — imjustnewatai · 2026-09-18