Photon 2.6 发布:FP8+投机解码,B200 上 Qwen3.5 27B 跑出 400 tok/s
Bedrovelsen · x · 2026-09-30
Photon 2.6 发布,新增 FP8 推理与投机解码支持。作者演示在 NVIDIA B200 上运行 Qwen3.5 27B,推理速度超过 400 tok/s,展示了最新推理栈在旗舰加速卡上的吞吐水平。
「Infra」频道最新
- Raja Koduri:西方每吉瓦 AI 算力花 500-600 亿美元,中国目标不到 100 亿 — RajaXg · 2026-09-30
- DeepGEMM 移植华为昇腾并开源：GEMM 达硬件上限 99.8% — zheanxu · 2026-09-30
- 18 个月智能-成本前沿巨变:从 GPT-5 mini 17 分到 Opus 5.5 拿下 58 分 — ArtificialAnlys · 2026-09-30
- Google Project Suncatcher 首次将 TPU 送入太空，10 月 1 日随火箭升空 — allisondman · 2026-09-30
- SGLang 把 Qwen3.8-27B 变决策模型,百毫秒内通关宝可梦火红 — zhaoran_wang · 2026-09-30
- Agent 时代 CPU 成新瓶颈：Vera 单独部署预示 CPU:GPU 比例将上调 — AccBalanced · 2026-09-30