探讨:Agent 评测成绩受模型与执行框架双重影响

LiangSong850509 · x · 2026-07-31

针对近期 ARC-AGI-3 的测试结果,作者指出 Agent 的成绩不仅取决于底层模型,还深受执行框架的影响。作者同时质疑,某些模型在内部 preview 测试中是否使用了与公开评测不同的 harness。