评测框架失误致分数差 25%，行业亟需抛弃裸跑基准
Imaginary_Dinner2710 · reddit · 2026-07-31
作者指出，当前大模型基准测试严重依赖测试框架。以 ARC-AGI 为例，OpenAI 模型仅因调用方式不当得分仅有 13%，修正后飙升至 38%。
作者强调，在真实开发场景中，模型总是结合特定智能体框架（如 Claude Code）运行。脱离实际应用环境去“裸跑”测试模型毫无意义，不仅无法反映真实能力，甚至会误导开发者。业界是时候摒弃这种脱离实际的评测方式了。
所属事件:ARC-AGI 3评测机制遭开发者集体质疑(9 条相关)→
「模型」频道最新
- Reflection Beam 501B MoE 登陆 GB200:单用户 463 tok/s — zhyncs42 · 2026-10-16
- JevBench 榜单更新:d1-ultra 以 76.1 综合分登顶,32 个 API 系统参评 — airesearch12 · 2026-10-16
- LMArena 上线 Agent 与代码双排行榜，可对比各模型智能体实力 — arena · 2026-10-16
- NVIDIA Nemotron-3.5 实测遇冷:Bolt 74B 在 pandas/numpy 与决策类测试不及 nano 版 — norenEnmotalen · 2026-10-16
- Reflection 开源 501B 模型 Beam,Apache 2.0 携 40+ 伙伴生态发布 — bhutanisanyam1 · 2026-10-16
- 一条提示词生成 629 行深海潜艇游戏，IQuest-Q1 编码实测曝光 — Div_pradeep · 2026-10-16