Hamel Husain 与 Shreya Shankar 新书节选:LLM 应用开发的「三个鸿沟」
sh_reya · x · 2026-11-21
ByteByteGo 刊登了 Shreya Shankar(UC Berkeley ML 系统研究者)与 Hamel Husain(OpenAI ML 工程师,20 年经验,曾帮助 35+ 公司构建和评估 AI 产品)合著的《Evals for AI Engineers》(O'Reilly 出版)书摘。两人通过 AI evals 课程培训了超过 4500 名工程师和产品经理。
节选核心是 LLM 应用开发的「三个鸿沟」(Three Gulfs)框架:
- 理解你的数据:动手查看真实数据是评估的起点
- 把需求显式化:明确写出你到底要模型做什么
- 让模型在新数据上稳定满足需求:一致性地达标才是产品化关键
文章将 AI 评估定位为构建 AI 产品中最重要也最困难的部分,为初学者提供了一条实操路径。
「编程与Agent」频道最新
- Google:Agent 是会话不是请求,GKE 节点池要按会话来规划 — rseroter · 2026-11-21
- Agent 规模化实战笔记:五家公司分享全押 AI 的得与失 — LukeW · 2026-11-21
- Agent 沙箱 boat.dev 每小时 0.036 美元起,重金招值夜班创始工程师 — samsja19 · 2026-11-21
- MCP stdio 服务端一行 print() 即可污染 JSON-RPC 流,坑哭调试者 — Independent-Sir3234 · 2026-11-21
- 微软推 Web IQ:为 AI Agent 定制搜索,降 token 成本 — JordiRib1 · 2026-11-21
- ClickUp 上线 Artifacts:一句话在工作区生成可用应用 — simcdev · 2026-11-21