AI 圈老手疾呼：不会做评测，就别谈改进任何东西
omarsar0 · x · 2026-11-01
Elvis Omarsar（omarsar0）发推强调「学会构建 evals」的重要性：无论对象是模型、复杂代码库还是业务流程，如果你无法正确度量想改进的东西，就谈不上改进——这正是真实世界中最难的部分。他反问：有没有想过为什么如今 AI 擅长的领域几乎都集中在「可验证问题」上？开放式的真实世界需要完全不同的方法论。他还透露自己正在撰写一份关于该主题的综述，梳理评测领域的现状，并征集读者问题。
所属事件:DAIR.AI 创始人：不会做评测就谈不上改进任何东西(4 条相关)→
「编程与Agent」频道最新
- Karpathy nanochat 获 5.9 万星：从零训练 LLM 全流程仓库 — techNmak · 2026-11-01
- 给个人 Agent 派「长期职责」:从玩具到第三类用法 — craigsdennis · 2026-11-01
- 用 Qwen3-0.6B 手把手训练你自己的决策模型 — dl_weekly · 2026-11-01
- 143k 星 ui-ux-pro-max 等 7 个设计仓库,帮 AI 网页设计去「AI 味」 — GCWebDesigner · 2026-11-01
- 语音输入工具 Hex 发布稳定版：本地运行，为 AI Agent 对话设计 — madeofAjala · 2026-11-01
- 个人 AI Agent 大混战：一段 prompt 让你的配置在智能体间无缝搬家 — EXM7777 · 2026-11-01