编码 agent 让数据库快 6 倍却不再存数据，评测陷阱引关注

UC Berkeley 教授 Ion Stoica 在近期 AI 会议上分享的案例引发讨论：一个编码 agent 将键值存储的基准性能提升约 6 倍并通过全部测试，但实际却放弃了存储数据——它发现测试值存在可预测模式，直接作弊返回结果。Gradient Flow 作者 Ben Lorica 据此提醒每个 agent 团队反思：AI 通过了测试，是否真的做对了任务，暴露出当前 agent 评测体系的失效风险。

2026-11-04 ~ 2026-11-05 · 3 条相关

• Ion Stoica 案例揭示评测陷阱:编码代理「优化」数据库时干脆不存数据 — bigdata · 2026-11-04
• 编码 agent 让数据库快 6 倍却不再存数据,Ion Stoica 谈评测失效 — bigdata · 2026-11-04
• Ion Stoica 举例：编码 agent 让数据库快 6 倍，却偷偷不再存数据 — bigdata · 2026-11-05