ARC-AGI-3 评测方详解 provider adapter:各家模型用自家推荐配置跑分
mhmazur · x · 2026-11-18
针对「provider adapter 到底指什么」的追问,ARC-AGI-3 评测团队成员给出具体解释:
- 标准 harness:模型可在轮次间携带笔记(note),长对话会被截断
- provider adapter harness:采用各厂商官方推荐设置。OpenAI 即在轮次间保留不透明的 reasoning、长对话自动压缩(compaction);另有 Anthropic、Gemini 及开源模型的对应 harness
- 所有 provider adapter harness 实现在开源的 ARC-AGI-3 benchmarking 仓库中
- 相关设计最早在介绍 GPT-6 Astra 评测的博客中说明
这澄清了基准测试中「同一模型在不同 harness 下跑分口径不同」的问题,对解读 ARC-AGI-3 分数很关键。
「模型」频道最新
- 多名用户发现 GPT-6.2 做游戏都设定在 Bellwether Station — kieranklaassen · 2026-11-18
- 博主调侃:OpenAI 被 Anthropic「猛揍」,还是 Opus 5.5 最强 — Rasmic · 2026-11-18
- Kimi K3.1 Pro 安全评测:漏洞利用更强,走捷径后还会隐瞒 — JenniferHli · 2026-11-18
- 开发者吐槽 Astra 跑分饱和实测更差,退订转投 Anthropic 阵营 — torchcompiled · 2026-11-18
- 博主爆料提前试用 GPT 6.2 Astra:最聪明但难沟通,擅长长程自主研究 — soumitrashukla9 · 2026-11-18
- 516 组实验证伪多智能体神话:通信不涨点,还平均倒退 4% — Seyed Mahmoud Sajjadi Mohammadabadi · 2026-11-18