Modular 推出 LLM Inference Handbook：推理工程一站式免费参考手册
techNmak · x · 2026-10-17
techNmak 分享了 Modular 团队推出的 LLM Inference Handbook，一个面向生产环境工程师的 LLM 推理技术参考手册。
- 覆盖内容：核心概念与词汇（prefill、decode、KV cache、TTFT、tokens/s）、性能指标、优化技术（continuous batching、prefix caching、prefill-decode 分离）、GPU 架构，以及 BYOC、本地部署等部署模式
- 特色：配有交互式计算器、模拟器和可视化工具；解释 goodput 为何比原始吞吐量更贴近 SLO 等碎片化知识
- 动机：推理知识散落在论文、厂商博客、GitHub issue 和 Discord 里，缺少系统化整合的资源
- 支持在任意 URL 后加 .md 以 Markdown 阅读，持续更新
「编程与Agent」频道最新
- DeepSeek 视觉能力快速进化：Agent 可自查截图迭代建 3D 场景 — cedric_chee · 2026-10-17
- 被客户赖账500美元一年后，他让AI Agent自主打电话催债 — curious_vii · 2026-10-17
- AI:AM 播客文字版：agent 权限失控、隐藏效价与形式化验证抓内核 bug — The Cognitive Revolution · 2026-10-17
- Cognitive Revolution 播客：Agent 控制权、隐藏效价与 Lean 证明抓 Linux 内核 bug — The Cognitive Revolution · 2026-10-17
- NVIDIA 开源 midtraining 配方：500B token 让 SWE-bench Multilingual 涨 7 分 — dair_ai · 2026-10-17
- AI Agent 越权访问真实系统，边界到底谁来执行？ — docybo · 2026-10-17