把 LLM 当不可靠依赖治理:系统工程方法打通生产级落地

_jaydeepkarale · x · 2026-09-24

一条转发推荐了一本把「系统设计」思路引入 LLM 应用的书,核心主张是:多数 LLM 材料只谈提示词和选模型,能帮你过 POC,但生产环境真正要面对的是延迟、成本、故障、安全与不可预测输出。书中把 LLM 视为一个「昂贵、缓慢、非确定、会以怪异方式失败」的依赖,主张用真正的工程纪律来治理它:网关、熔断器、缓存、模型路由、评测、检索管线、可观测性与人工审核。书中以案例驱动,例如自适应学习平台离线生成内容、经人工审核后提前备好个性化课程,把生成与消费解耦。对做 LLM 生产化工程的人有参考价值。