Tenstorrent 8 台 Galaxy 跑 gpt-oss-120b 达每用户 5300 tokens/秒
DavidBennett__ · x · 2026-11-21
Tenstorrent 公布推理优化成果:Galaxy 集群运行 gpt-oss-120b 的解码速度达到每用户 5300 tokens/秒。
- 每层切分到 4x4 共 16 颗 Blackhole 芯片的 mesh 上
- 通过流水线阶段复用,在下一层权重从 DRAM 加载进 SRAM 的同时继续计算,8 台 Galaxy 即可达到 24 台部署的速度
- 日本推理公司 ai& 宣布已在全日本数据中心部署 Tenstorrent Wormhole 与 Blackhole Galaxy,其平台拥有 100MW+ 容量,涵盖 NVIDIA/AMD/Tenstorrent/Rebellions 芯片,并为 NEC 提供主权 AI 推理平台
「Infra」频道最新
- KV cache 决定一切:agent 成本大头是重读上下文,供应商几乎零成本 — AccBalanced · 2026-11-21
- Darkbloom 用全球闲置 Mac 单日服务近 270 亿 tokens,Gemma 需求翻倍 — gajesh · 2026-11-21
- 开源模型路由器把 prompt cache 算进切换决策,避免越切越贵 — Broad_Abies9390 · 2026-11-21
- Inkling 2 Mini 登陆 llama.cpp:PR 已提交,改动超630行 — No_Algae1753 · 2026-11-21
- 美新芯片管制冲击东南亚数据中心,Ambani 与 Adani 或成最大赢家 — nordicinst · 2026-11-21
- 英伟达市值 2.34 万亿美元≈整个德国股市,空头敲警钟 — HanchungLee · 2026-11-21