FrontierCode:衡量代码能否被合并的新基准
elie · x · 2026-07-04
新基准 FrontierCode 发布,超越「代码是否正确」,重点评估代码是否足够好、人类是否愿意接受合并——关注效率、可读性、可复用性,因为可持续项目需要这样的代码。报告还透露一个隐藏发现:算力扩展越过某个阈值后,目前反而出现收益递减甚至负收益,值得观察这是否只是当下训练实践的产物。
「研究」频道最新
- Kimi K3 在网络安全上很强，但 token 效率卡住了评测 — teortaxesTex · 2026-07-27
- ARC AGI 3 应该保持私有，不该公开示例和数据集 — flowersslop · 2026-07-27
- ExploitGym 可能只有六到七成任务可解，引发 OpenAI 作弊争议 — max_paperclips · 2026-07-27
- Chollet 认为智能可能有硬上限，AI 进步会趋于边际递减 — binarybits · 2026-07-27
- 论文提出图拓扑可成为 AI Agent 核心框架 — theomitsa · 2026-07-27
- 一个问题追问多智能体分支如何随算力和模型规模变化 — iskander · 2026-07-27