现评测太干净:研究者构建混乱真实工作任务模拟来考 AI

KLdivergence · x · 2026-11-05

一场围绕 AI 评测缺陷的讨论：当前评测往往给出清晰指令并备齐全部所需信息，实际测的只是基础指令遵循——而这恰恰是现有后训练架构优化的方向。

为此团队（由 Justin Breuch 主导）构建了更贴近真实工作的模拟环境：例如让 agent 扮演学术协调员，判断学生是否不当使用 AI。环境做到机器可读，避免 agent 因琐碎原因卡住；同时提供书面政策与邮件作为工作素材，但注入真实世界的混乱——指令模糊、数据含错误，agent 需与人类同事一起撰写案件报告并通知相关干系人。未来还计划让环境更动态，例如工作流中途插入带新信息的邮件。