ARC-AGI 澄清 OpenAI 跑分方式:厂商适配 harness 引热议

针对社区对 OpenAI 评测方式的质疑,ARC-AGI 团队成员 mhmazur 详细解释了评测 harness 的差异:标准 harness 允许模型在轮次间保留笔记,而 OpenAI 使用的是「厂商适配 harness」,跨轮保留隐式推理并自动压缩,各家模型均按自家推荐配置跑分。评测方强调这并非特殊优待,而是统一的 provider adapter 机制,回应了 giffmana 等人对跑分公平性的疑问。

2026-11-18 ~ 2026-11-18 · 2 条相关