FrontierCS 榜单更新:Claude Sonnet 5.5 在 50% 任务上超参考解
ajratner · x · 2026-11-09
FrontierCS 2 编码竞赛基准发布更新:4 个新模型上榜,其中 Claude Sonnet 5.5 在 50% 的任务上超过参考解,Fable 5.1 为 35%,Inkling 2 Small 与 MiniMax-M3.1-Flash 各为 8%。团队还公开了发现并修复的 reward hacks(奖励作弊手段),并把全部 48 个任务重构为统一格式。Open Benchmarks Grants 计划将支持该基准的持续改进。
「编程与Agent」频道最新
- Simon Willison 用 details/summary 折叠 AI 写的 PR 描述长文 — Simon Willison · 2026-11-09
- AI Agent 一个周末修完 41 个报告问题中的 40 个 — julianweisser · 2026-11-09
- HEELO 框架让 Terminal-Bench 解题率从 37.3% 升至 55.5% — Haibo Jin · 2026-11-09
- NVIDIA 研究:得当时机的强弱模型交接可大幅省 Agent 成本 — nvidia · 2026-11-09
- 「会技术」新定义:有耐心反复问 Claude 直到搞懂为止 — brandon_galang · 2026-11-09
- Together AI:榜单只能选入围名单,真正该测的是你自己的流量 — togethercompute · 2026-11-09