什么是「Evals 负责人」？自创职位的实际工作拆解
danshipper · x · 2026-10-23
hammermt 解释自创职位「head of Evals」：Evals 即评估，衡量 AI 智能体是否把你想让它做的事做好。工作包括收集人们已用/想用 AI 的任务样本，定义什么是好/坏结果；既包括构建 benchmark（在任务列表上跑模型测表现），也可以是针对性实验，解决 AI 暂时做不到的具体问题。核心产出通常是两 类：把 AI 已能做的事做得更便宜且不牺牲质量，或让 AI 做到原本做不到的事——后者更有趣但寿命短，模型通常 6-12 个月内就会「吞掉」这些解法。
「编程与Agent」频道最新
- Terminal-RSI 递归自改进：Qwen3.8-27B Terminal-Bench 从 51.7% 飙至 86.5% — udmrzn · 2026-10-23
- NVIDIA 推出官方验证 Agent Skills:为技能层加上来源与变更审计 — bradneuberg · 2026-10-23
- PHP/node.js/GitLab 大规模安全事件后，Cognition 开源 Devin 修复插件 — Scobleizer · 2026-10-23
- 用 Grok 机器人+租 GPU，个人微调模型变得触手可及 — Rasmic · 2026-10-23
- 一句 prompt 挖出 PHP 预认证 RCE：Agent 辅助漏洞挖掘实录 — chrisrohlf · 2026-10-23
- AutoRouter 公测：按任务难度自动在 Claude/GPT 等模型间分单省 token — floguo · 2026-10-23