AI 编码基准测试 LiveBench 遭遇严重刷榜问题
bindureddy · x · 2026-08-23
Bindu Reddy 指出 LiveBench 等基准测试目前面临严重的“刷榜”问题，模型可以针对特定测试进行过度优化从而得分虚高。例如，某些基准甚至显示声称能力较差的模型优于更强的模型。作者团队正在开发 LiveBench 2.0，旨在设计更难被刷榜的测试标准，以更真实地反映 AI Agent 的编码能力。
所属事件:LiveBench 基准测试易被刷榜，2.0 版开发中(2 条相关)→
「编程与Agent」频道最新
- Codex 逆袭记:一年内吞并 ChatGPT 桌面端,周活破 4000 万 — danshipper · 2026-10-16
- Open Nshipyard 清洗加拿大公开数据：151亿美元幽灵支出被扒出 — RichardsonDx · 2026-10-16
- Claude Opus 5.5 实测:低推理档位每小时迭代次数是最高档 9 倍 — tom_doerr · 2026-10-16
- Photon 2.0 发布:AI Agent 一键接入 WhatsApp、Telegram、短信等多渠道 — techNmak · 2026-10-16
- Figma 发布 Guidelines 与 Code Sources，让 AI Agent 学会你的设计系统 — JaynitMakwana · 2026-10-16
- 前 DeepMind 工程负责人做 AI 代打电话产品 Fo,接通挂断率从 80% 降到 20-30% — julianweisser · 2026-10-16