严格沙箱红队评测：编码 Agent 到底能解决什么问题
tomssilver · x · 2026-09-25
Brown/伯克利团队发布新论文，对编码类智能体（如 Astra 一类流行 Agent）在严格、带红队测试的沙箱环境中进行系统评测，回答"它们究竟真正能解决什么"这一问题。主要发现：
- 构建了严格可控的沙箱评测框架，杜绝 Agent 通过捷径或环境漏洞"假通过"任务
- 经红队验证后，编码 Agent 的表现出人意料地聪明，在真实可验证任务上展现了扎实的解决能力
- 论文附带演示视频，是作者团队首个合作成果
这对 Agent eval 工程有直接参考价值：如何设计防作弊的沙箱评测。
「编程与Agent」频道最新
- 别把 API 密钥直接丢给 agent：给每个智能体独立身份的工程主张 — tobowers · 2026-09-25
- 别把 API key 直接丢给 Agent:一段 75 秒视频讲清密钥管理之道 — tobowers · 2026-09-25
- LangChain 网络研讨会:低成本模型 Jev 让实时推理护栏成真 — LangChain · 2026-09-25
- 面向证明的工程：给 agent 定目标前，先解决「我知道好的样子」难题 — gregmushen · 2026-09-25
- Peter Yang 推出 25 课 AI 工作流课程,含 40+ 可复制提示词 — petergyang · 2026-09-25
- Claude Code 最被骂的功能:消息排队,244 个 issue 修了几个月还坏 — sytelus · 2026-09-25