Hot Chips 2026:OpenAI Jalapeno 推理加速器架构拆解
bookwormengr · x · 2026-09-12
Silicon Co-Design 发布长文，基于 Hot Chips 2026 上 OpenAI 的演讲材料（R. Ho、R. Narayanaswami、C. Leary 的报告）拆解其通用 AI 推理加速器 Jalapeno 的完整系统架构。
- 定位:Jalapeno 主要为 OpenAI 自家负载设计，但可泛化到前沿模型负载；作者强调它不是「一夜取代 GPU 的黑箱」，而是大量系统级权衡的产物。
- 系统规格与约束:从最终用户体验出发定义架构——LLM 请求延迟、每请求能耗的推理效率、系统级 Pareto 前沿权衡。
- 架构观察:理论内存 roofline 高于实际用户 token 吞吐；prefill、speculative decoding、decode 三阶段负载特性不可预测；大 KV 状态在单芯片上的平衡问题。
- 延迟来源:网络互连（含 SOTA 级拆解）与操作数晚到导致的计算停顿。
- 设计方法:文章还探讨了 AI 辅助（agentic coding）如何缩短了芯片设计周期，以及领导层可能考虑过的备选方案。
文章前半段限时免费，后半段之后转入付费墙。
「Infra」频道最新
- AI 烧钱加深自由现金流缺口，微软靠发债 250 亿美元守住正值 — Kr00ney · 2026-10-31
- Google 太空数据中心首次跑通:轨道 TPU 完成 Gemma 推理并回传 — ns123abc · 2026-10-31
- Google Cloud 花费上限正式上线：新增 API、实时成本报告与每月自动重置 — rseroter · 2026-10-31
- Swift 1.5 Flash Next 去审查逆向版新增多种量化，IQ4 精度换体积 — jjusko20 · 2026-10-31
- ClickHouse 曝未认证远程代码执行漏洞 CVE-2026-116366 — Hacubu · 2026-10-31
- 批量合并提问只读一遍文档,可大幅降 LLM 分类成本与延迟 — petrusenko_max · 2026-10-31