omarsar0:没有「评估工厂」就没有「软件工厂」,Agent 自动化缺 eval 全是无效代码
omarsar0 · x · 2026-11-15
知名 AI 科普作者 Omar Khattab 之外的 omarsar0(Elvis Saravia)发推指出,与多位 Agent 创业者交流后的共识是:没有 eval,递归自我改进的循环只是堆代码(LOC),没有明确价值。
核心观点:
- 「你无法有效自动化你无法正确度量的东西」
- 任何用于 agent 自动化的产品,都应把 eval 的构建与度量作为一等公民能力,或至少易于接入
- 这不仅限于软件工程/编码,而是适用于组织内所有职能
他用一句话总结:「没有『评估工厂』,就没有『软件工厂』。」
「编程与Agent」频道最新
- DeepMind 工程师让 Gemini 4 Carbon 无限烧 token:自己定位闯祸 PR 并找到合并人 — thursdai_pod · 2026-11-15
- 受够 Claude Code 封号焦虑？博主推荐 Factory.ai 等海外替代工具 — vista8 · 2026-11-15
- MaxxBench：微改任务格式，编码 Agent 成绩骤差 23 分 — MFarajtabar · 2026-11-15
- Reddit 网友吐槽：Codex 会话一多就彻底管不过来 — Excellent-Wheel7769 · 2026-11-15
- Anthropic:老式提示词习惯拖慢 Opus 5.5,弃用「think hard」改从 Medium 档起步 — The Decoder · 2026-11-15
- DSPy 通过调优提升 LLM 性能：优化提示词与权重的秘诀 — mdancho84 · 2026-11-15