自托管 LLM 要学会说不：Audible 与 SAP 讲准入控制实战
AI Engineer · youtube · 2026-11-10
AI Engineer Code Summit 演讲，Audible 的 Harshul Jain 与 SAP 的 Parv Khatri 讨论自托管 LLM 推理层的准入控制（admission control）问题。
核心观点：
- 编码 agent 会大量并发、重试、突发请求，自托管推理层默认照单全收，反而把真正重要的请求淹没；
- 关键是在请求到达 GPU 之前决定拒绝什么；
- 作者基于对 55 篇系统论文的梳理和 8 次真实生产事故，总结了部署任何准入策略前要问的 5 个问题，以及一份可直接使用的检查清单。
「编程与Agent」频道最新
- SlopOps 警告:把 agentic 编码能力当竞争优势,是在玩「slop 彩票」 — generativist · 2026-11-10
- 开发者用 Fable 5.2 在 Rust 中构建智能体游戏引擎 — EricBuess · 2026-11-10
- 沙特博主用 Claude Fable 5.2 + MCP 做出沙特风味糖果传奇,速度惊人 — aziz4ai · 2026-11-10
- Nashville AI Tinkerers 活动拆解 40 人团队的 AI 软件工厂实践 — JnBrymn · 2026-11-10
- Every 实测 Fable 5.2：设计任务开高档反而不如高档以下，各任务档位有别 — every · 2026-11-10
- Reddit 开发者求 Ramp Inspect 老代码库实测经验：多人在场解释隐晦逻辑 — InternationalKick296 · 2026-11-10