面试官问：怎么评估AI agents
verrsane · x · 2026-07-14
这段转发总结了一次关于 **AI agents 评估与系统设计** 的面试题讨论。作者问候选人如何评估 agent：会用什么库/框架，怎样理解强化学习、环境和评测系统。 核心问题在于**规模化**：当 agent 数量从 3-5 个扩大到 3000 个时，人工不可能逐个检查 trace 和结果，必须建立自动化、可扩展的评测体系，甚至让 agent 去帮助评测 agent。 第二个问题是如何用今天的技术去复刻 Notion 这类产品，重点不在于会不会用 Codex 或 Claude Code，而在于能否把工具真正嵌入产品工程，解决真实业务问题。