4894 份 JD 分析：评测是 AI 工程第一技能，附完整框架
Al_Grigor · x · 2026-08-24
Alexey Grigorev 分析了 4,894 份 AI 工程职位描述后发现，评测（evals）是出现频率最高的第一技能，也是面试必考题——家庭作业里不做 evals 会直接被视为红旗。
文章给出工具无关的 agent 评测六步框架：
- 从 vibe-check 和日志收集起步
- 构建一个与自己判断对齐的 judge
- 像 QA 工程师一样搞坏 agent
- 生成合成数据
- 在真实用户上测试
- 用在线评测持续监控
他强调：如今搭一个 agent 很容易，但 agent 会以幻觉、死循环、耗尽上下文、无效工具调用等无数方式坏掉；没有 evals 你既是瞎子，也无法安全地做任何改动。文末附完整评测清单与生产系统实例。
「编程与Agent」频道最新
- 模型不是产品，Harness（控制层）才是 — sujingshen · 2026-08-24
- Agent 的结构化定义：从 Goal 到 Proof — sujingshen · 2026-08-24
- 开源 OpenPitStop：独立验证 AI 编码 Agent 修改的裁判 — fromkrish · 2026-08-24
- 5 个 MCP Server 注册平台对比：官方、Glama 与 Lulu 等 — lulu_dev · 2026-08-24
- Gemini CLI 修复沙箱 DEBUG 变量误判逻辑 — Eswar809 · 2026-08-24
- Biomni：可自主执行生物医学研究工作流的通用 AI Agent — bravo_abad · 2026-08-24