模型能力还是基础设施？Agent 评测的分层归因难题

jrxna · reddit · 2026-10-16

在 10 月 12 日的 Cheeky Pint 节目中，扎克伯格与 Alexandr Wang 谈到 agent 行为由模型训练塑造，同时也讨论了围绕它的隐私与安全基础设施。楼主由此提出评测方法论问题：如何分辨效果提升来自模型层还是 agent 基础设施层？固定工具和任务集、只换模型看似可行，但各模型可能围绕不同工具接口训练过。作者提议的方案是同时跑「统一配置」和「各模型偏好配置」两组实验，把任务完成率、权限违规、失败动作后的恢复能力分开报告。