开发者吐槽 ARC-AGI-3 评分机制：已被刷爆，二次方计分纯属造神
mgostIH · x · 2026-07-30
开发者指出，当前的测试框架（harnesses）已经让 ARC-AGI-3 基准测试趋于饱和，只需对模型进行少量强化学习（RL）就能大幅提升分数。
此外，作者强烈批评了该基准测试的评分机制，认为其毫无理由地采用了解题百分比的二次方计算，仅仅是为了在初期大家都接近 0% 的情况下，人为夸大某些模型或个人的成绩。
所属事件:ARC-AGI 3评测机制遭开发者集体质疑(9 条相关)→
「研究」频道最新
- 一个古老结构单元撑起免疫系统：免疫球蛋白折叠的亿年多职演化 — arjunrajlab · 2026-10-16
- 中国后量子签名 Origami 被攻破，公钥即可伪造签名 — matthew_d_green · 2026-10-16
- 模型能力还是基础设施？Agent 评测的分层归因难题 — jrxna · 2026-10-16
- 首篇论文即中 NeurIPS spotlight:多智能体集群安全研究 — LauraRuis · 2026-10-16
- UNSW 提出 EDEN：嵌入空间锚定噪声增强 LLM RLVR 探索 — Daijiao Liu · 2026-10-16
- 自动驾驶团队演示窄路僵局：车辆学会倒车让行，并自制机械臂换挡测试 — sanjeevs_iitr · 2026-10-16