Hot Chips 2026:OpenAI Jalapeno 推理加速器架构拆解
bookwormengr · x · 2026-09-12
Silicon Co-Design 发布长文，基于 Hot Chips 2026 上 OpenAI 的演讲材料（R. Ho、R. Narayanaswami、C. Leary 的报告）拆解其通用 AI 推理加速器 Jalapeno 的完整系统架构。
- 定位:Jalapeno 主要为 OpenAI 自家负载设计，但可泛化到前沿模型负载；作者强调它不是「一夜取代 GPU 的黑箱」，而是大量系统级权衡的产物。
- 系统规格与约束:从最终用户体验出发定义架构——LLM 请求延迟、每请求能耗的推理效率、系统级 Pareto 前沿权衡。
- 架构观察:理论内存 roofline 高于实际用户 token 吞吐；prefill、speculative decoding、decode 三阶段负载特性不可预测；大 KV 状态在单芯片上的平衡问题。
- 延迟来源:网络互连（含 SOTA 级拆解）与操作数晚到导致的计算停顿。
- 设计方法:文章还探讨了 AI 辅助（agentic coding）如何缩短了芯片设计周期，以及领导层可能考虑过的备选方案。
文章前半段限时免费，后半段之后转入付费墙。
「Infra」频道最新
- 2019 剪枝实验称可删 96% 权重，GPT-5 多数参数是空架子 — TinfoilTricorn · 2026-09-12
- Intel NPU 驱动 1.38 发布:首次官方支持 Ubuntu 26.04 LTS — Fcking_Chuck · 2026-09-12
- OpenAI 工程师:AI 优化内核让 GPT-5.6 Sol 推理成本降 20% — TheTuringPost · 2026-09-12
- 太空数据中心成真?Polymarket 押 2027 年底前入轨概率 18% — Polymarket · 2026-09-12
- Ayar Labs E 轮扩融 1.5 亿美元,2026 年累计融资达 6.5 亿 — bookwormengr · 2026-09-12
- Lightning AI 纽约扩招 35 个岗位,合并 Voltage Park 后扩张 — LightningAI · 2026-09-12