普林斯顿团队发布 AI Agent 评测综述，系统梳理 33 条趋势
random_walker · x · 2026-10-30
Princeton 研究团队联合 Stanford、英国 AI Security Institute 与 Brookings 的评测研究者发布论文《Emerging Trends in AI Agent Evaluation》，系统梳理 AI agent 评测的科学方法与生态。作者提到一个插曲：论文发布当天恰逢服务器 PHP 漏洞升级，网站被迫下线一整天。
论文覆盖三大板块共 33 条趋势：
- How（评测科学与方法）：效度、基准质量、超越准确率的指标、统计严谨性、因果归因、数据污染、动态基准、LLM 裁判、日志分析、红队测试、开放世界评测、人类基线等，每条附最佳实践；
- What（扩展研究议程）：模拟用户、实验室与现场实验、观察性使用数据、领域专项评测、经济影响、被评测时的行为变化、危险能力、安全、系统性评测等，每条附研究方向；
- Who（评测者生态）：谁来评测、独立性、实验室与评测的相互塑造、资金、成本上升、发表渠道、公共部门、学科切入点等，每条附实操考量。
背景是学界与政策圈对独立、嵌入式 AI agent 评测的呼声渐高，但「什么算好评测、该评测什么、如何协调涌入的评测者」仍缺乏共识，这篇综述试图填补该空白。
「安全」频道最新
- Akamai 报告：网络诈骗翻倍至 640 万起，首次超过钓鱼攻击 — shashib · 2026-10-30
- Anthropic 论文:0.1% 预训练投毒即可给 Agent 埋下远程执行后门 — omarsar0 · 2026-10-30
- 密码学学者批评 Anthropic 用「模型逃逸」框架描述 Agent 蠕虫研究 — matthew_d_green · 2026-10-30
- 教皇呼吁「解除 AI 武装」，敦促联合国禁自主致命武器 — The Verge AI · 2026-10-30
- 开发者发起百个 AI 安全开源工具计划,首作 DirectGuard 拦截提示词注入 — Venom943 · 2026-10-30
- Open Science Framework 曝安全事件,用户姓名邮箱遭未授权访问 — peterwildeford · 2026-10-30