ARC-AGI 评测台澄清:OpenAI 用「厂商适配 harness」,跨轮保留隐式推理并自动压缩
giffmana · x · 2026-11-18
ARC-AGI 相关讨论中,mhmazur 解释了评测 harness 的差异,回应 giffmana 等人的质疑:
- 标准 harness:模型可在轮次间保留笔记,长对话会被截断
- 厂商适配 harness(provider adapter):按各厂商 API 的推荐设置运行。对 OpenAI 而言,意味着跨轮次保留不透明的 reasoning,长对话自动压缩(compaction)
giffmana 表示这一解释合理,但指出术语不加说明容易误导:听起来像是厂商为 arc-agi 单独做了特殊 harness(那将是糟糕做法),此前许多误解和错误回复正源于此。
所属事件:ARC-AGI 澄清 OpenAI 跑分方式:厂商适配 harness 引热议(2 条相关)→
「模型」频道最新
- GPT-6.2 Astra/Sol 正式发布:实测称电脑操作强且成本低被低估 — jeffintime · 2026-11-18
- sudo L7 编码榜更新:GPT 6.2 两款进前五,仍落后最新 Claude — echen · 2026-11-18
- OpenAI 疑似翻车发布引热议:或为省推理成本用小参数赌 RL — doodlestein · 2026-11-18
- 开发者称没有单一模型能媲美 Claude — _arohan_ · 2026-11-18
- 实测GPT-6.2:别信时间线唱衰,它是高效的计算机使用利器 — nickbaumann_ · 2026-11-18
- Arena 智能体榜单:Claude 好评差评比近两倍领先其他模型 — thursdai_pod · 2026-11-18