AI2 揭秘 Steering Arena:前 36 名全是人类读不懂的乱码

allen_ai · x · 2026-09-18

Allen AI（AI2）披露其 Steering Arena 评测的一个反直觉发现：在约 600 次提交后，排行榜前 36 名的条目几乎全是人类不会写出的乱码字符串，例如「Undert! AH :-) Rog Appl).」，也就是说参与者无需写出对人类有意义的文本就能拿到高分。

AI2 解释称，正因为他们像 OLMo 一样开源了模型权重之外的全部资料，Padia 才能看到 Steering Arena 实际奖励了什么、调查乱码为何得高分，并公开测量数据，帮助整个领域改进对「亲社会 AI 行为」的评测方法。这一事件本身也暴露了此类 arena 评测可被无意义内容刷分的漏洞。