从 GPU 架构缺陷到 OpenAI Jalapeño：深度解析推理芯片重设计

thehiphopswami · x · 2026-08-30

这篇文章从第一性原理出发，深入分析了当前 Nvidia GPU 在推理场景下的缺陷（如 E2E 延迟、内存瓶颈、KV Cache 成本等），并提出了针对推理优化的芯片架构设计思路。文章详细阐述了 Core Slice 架构、内存子系统、片上网络以及软件栈的重构方案，并设想了 OpenAI 的“Jalapeño”芯片架构。作者认为，为了打破现有算力限制，大模型团队应考虑设计专用的推理芯片，并探讨了从改变编程语言到 AI 辅助芯片设计的闭环流程。