Cerebras CTO 谈推理前沿：从 4000 走向每秒万 token
Latent Space · youtube · 2026-09-03
Latent Space 对话 Cerebras 联合创始人兼 CTO Sean Lie
- 速度即能力：Cerebras 认为 100–200 tokens/s 很快会像「批处理模式」一样过时；CS4 已把推理推到 4,400 tokens/s 以上，CS5 目标在中等规模模型上冲向 10,000 TPS，前沿模型可达约 5,000 TPS。
- 产能售罄：Cerebras 当前算力已基本卖光。
- OpenAI 合作：OpenAI 内部已用超快推理做事件响应与关键研究；Sean 解读 OpenAI 的 Jalapeño 芯片，认为 AI-first 芯片设计将改造半导体业，CS5 + Jalapeño 可能组合出新一代推理栈。
- 架构判断：他批评 Groq 的 SRAM 架构在前沿规模模型上的局限；认为围绕 NVIDIA GPU 设计的模型给替代架构留了大量性能空间，硬件-模型协同设计是下一个大增益来源。
- 推理分解：推理正在拆分为 prefill、decode、attention、专家路由等专门化负载；未来数据中心可能被设计成「一台巨型计算机」。内存带宽、3D 封装、功耗与散热正成为核心瓶颈。
- 中美竞争：中国开源模型崛起，且中国正形成日益独立的 AI 硬件生态。
「Infra」频道最新
- 覆盖 Bedrock/Azure/Vertex 三万条价格，开发者做出云端模型变动雷达 — jsandhu0780 · 2026-10-18
- 1270万 tokens 仅花 0.14 美元，缓存命中率 99.6% 的 agent 实测 — teortaxesTex · 2026-10-18
- 单卡 9060 XT 16GB 跑 Qwen3 27B：262k 上下文 42.7 tps — Maglcite · 2026-10-18
- SlateDB+Lance+Datafusion 自建数据栈,为客户年省数百万美元 — sh_reya · 2026-10-18
- 视频生成 API 每 10 秒约 0.5 美元,自建服务器何时更划算? — Key-Lychee-913 · 2026-10-18
- vLLM 联手 NVIDIA 优化 Kimi K3:GB300 上解码达 842 tokens/s — vllm_project · 2026-10-18