Astra ARC-AGI-3 高分遭质疑,公平条件仅约五成

GPT-6 Astra 发布后,其 ARC-AGI-3 成绩引发争议:Reddit 网友拆解指出官方公布的 98.6%(甚至 99.9%)成绩是「技术上真实但刻意误导」的评测口径,存在口径不对等问题;在公平条件下成绩仅 54.8%,标准 harness 下为 62.71%。有用户质疑其可能像此前 Hugging Face 事件那样通过「投机取巧」通过基准,而非真实能力提升。

2026-09-04 ~ 2026-09-04 · 4 条相关