曝 OpenAI 自研芯片 Jalapeno：LLM 推理速度达 1500 tokens/s
firstadopter · x · 2026-09-01
Tae Kim 报道了 OpenAI 在 Hot Chips 大会上展示的自研芯片 Jalapeno。关键信息包括：
- 全栈优化：从模型、软件、编译器到底层硅片进行全栈优化，仅用 9 个月完成 RTL 执行。
- 高性能表现：在 OSS 模型上实现接近 1500 tokens/s 的用户吞吐量，延迟降低 4 倍；在 DeepSeek 模型上达到 700 tokens/s，延迟降低 5 倍。
- 设计目标：专注于加速 OpenAI 工作负载，解决用户等待时间和能耗问题。
「Infra」频道最新
- 覆盖 Bedrock/Azure/Vertex 三万条价格，开发者做出云端模型变动雷达 — jsandhu0780 · 2026-10-18
- 1270万 tokens 仅花 0.14 美元，缓存命中率 99.6% 的 agent 实测 — teortaxesTex · 2026-10-18
- 单卡 9060 XT 16GB 跑 Qwen3 27B：262k 上下文 42.7 tps — Maglcite · 2026-10-18
- SlateDB+Lance+Datafusion 自建数据栈,为客户年省数百万美元 — sh_reya · 2026-10-18
- 视频生成 API 每 10 秒约 0.5 美元,自建服务器何时更划算? — Key-Lychee-913 · 2026-10-18
- vLLM 联手 NVIDIA 优化 Kimi K3:GB300 上解码达 842 tokens/s — vllm_project · 2026-10-18