OpenAI 硬件 VP 详述首颗自研芯片 Jalapeño:9 个月流片
bigdata · x · 2026-09-20
The Data Exchange 播客采访 OpenAI 硬件副总裁 Richard Ho,详解 OpenAI 首颗自研 AI 加速器 Jalapeño 的设计与影响:
- 为什么自研:控制更多硬件栈以降低推理成本、提升性能;芯片以高吞吐与低延迟的少见组合为卖点,面向通用 LLM 与开源模型设计。
- 架构:白板式设计,让内存与计算更靠近,打破吞吐与延迟的权衡;讨论 prefill/decode、用 AI 优化 kernel、speculative decoding。
- AI 加速开发:部分开发周期被压缩到 9 个月完成流片,AI 工具让专家工程团队效率大增;路线图已规划到第三代,采用 HBM4 与新内存。
- 其他话题:CUDA 与 Triton、CUDA 护城河是否仍存、电源而非芯片正成为数据中心瓶颈、RL 与 agent 对推理需求的拉动、InferenceX/AgentX 基准。
「Infra」频道最新
- SpaceX 轨道 AI 数据中心曝光:单座重达 4 吨,拟申请百万颗卫星 — XFreeze · 2026-09-20
- GPT Luna 意外胜任个人助理,本地小模型跑 Agent 到底值不值? — gized00 · 2026-09-20
- llama.cpp 分支实现 Declarative Attention,解码耗时降到 0.71× — Ok-Shower7286 · 2026-09-20
- Vulkan 本地训练器 VTrain 修复内存泄漏，更多负载转移至 GPU — Savantskie1 · 2026-09-20
- vLLM 首日支持 Qwen-Image-2.1:KV cache 复用加速推理,附部署指南 — Alibaba_Qwen · 2026-09-20
- 开发者因 ComfyUI 在 Mac 上太慢,自建 Apple Silicon 本地模型启动器 — janishar · 2026-09-20