代码策略碾压原始动作输出，研究者质疑 agent harness 自由修改

JoshPurtell · x · 2026-09-20

延续 NetHack harness 争论，作者 JoshPurtell 基于自己在 Craftax 上跨多个模型规模做评测的经验提出反面观点：他发现纯代码启发式策略（code-only heuristic policies）甚至能击败 luna xhigh 输出原始动作的 agent。

由此他担心：如果最优解是 agent 直接写一个端到端代码策略并在环境里跑完，或者只在少数场景中断代码执行，那这种「自由改 harness」的评测设计就可能退化为退化解法（degenerate solution），并非评测本意。这是对 agent eval 设计中 harness 边界问题的一个具体技术质疑。