Photon 2.6 发布:FP8+投机解码,B200 上 Qwen3.5 27B 跑出 400 tok/s
Bedrovelsen · x · 2026-09-30
Photon 2.6 发布,新增 FP8 推理与投机解码支持。作者演示在 NVIDIA B200 上运行 Qwen3.5 27B,推理速度超过 400 tok/s,展示了最新推理栈在旗舰加速卡上的吞吐水平。
「Infra」频道最新
- 美国 BIS 新规封堵第三国数据中心远程调用 AI 芯片 — teortaxesTex · 2026-11-16
- Qdrant 1.20.1 发布:冷存储读取减半、量化提速 2 倍 — qdrant_engine · 2026-11-16
- 16GB 显卡本地跑通全套 AI:生图作曲配音视频加 RAG 问答 — llama-of-death · 2026-11-16
- Starlink 在希腊护火车防追尾:134 台机车定位精度达 5 厘米 — XFreeze · 2026-11-16
- Google 将 Agent Substrate、gVisor、OpenRL 捐给 CNCF,Agent 运行底座 1.0 GA — dl_weekly · 2026-11-16
- 英伟达丑闻未完:黄仁勋的千亿美元权力网成焦点 — The Verge AI · 2026-11-16