SHADOWPREFILL 论文：为 Agent 逐步模型路由预热下一个模型
chaumian · x · 2026-11-13
介绍论文 SHADOWPREFILL，针对 agentic LLM serving 场景，研究按步骤进行模型路由（per-step model routing）时的下一个模型预热（keeping next model warm）问题，以降低推理服务延迟。
「Infra」频道最新
- Berkeley 提出 Population Serving:把推理流量变成免反向传播的训练资源 — LChoshen · 2026-11-13
- Gemini API 托管智能体接入 Agent Substrate,可跑在你自己的集群上 — rakyll · 2026-11-13
- 黄仁勋据称被免去 NVIDIA CEO？Marc Andreessen 访谈揭示内幕 — kevinnbass · 2026-11-13
- 曝英伟达 CFO Kress 比黄仁勋保守,曾反对为 OpenAI 担保等激进交易 — ShakeelHashim · 2026-11-13
- PyTorch Helion 编译期启发式免调优,反超手写 Triton 内核 18% — PyTorch · 2026-11-13
- Luminal 获 Standard Capital 领投 2500 万美元 A 轮,加速异构推理 — ycombinator · 2026-11-13