DwarfStar 推理引擎实测：Station 170 t/s 生成
antirez · x · 2026-08-17
Redis 作者 antirez 分享了在 Station 上使用 DwarfStar 推理引擎的实测数据：利用 MXFP4 和 Flash 模型，在经过约 48 小时优化后，实现了 170 tokens/s 的生成速度和 22k tokens/s 的预填充速度。他还提到正在测试 PRO 和 Q4 GLM 5.2，以探索在超出 VRAM 容量时，硬件感知推理引擎如何保持高性能。
所属事件:antirez优化DwarfStar推理达170 t/s(2 条相关)→
「Infra」频道最新
- trie 算法实现聊天输入减量 4-5 倍 — No_Sky9786 · 2026-08-17
- 比特币算力超全球超算500倍，Bittensor以此切入推理 — markjeffrey · 2026-08-17
- Bittensor子网118新增超廉价推理，整合多家AI服务 — markjeffrey · 2026-08-17
- Meta 2026 年起将依赖英伟达 Blackwell 与 AMD Helios 算力 — Beth_Kindig · 2026-08-17
- Wici One 声称通过 NVMe 流式传输解决本地显存瓶颈 — Torodaddy · 2026-08-17
- antirez优化DwarfStar：Station上170 t/s生成，22k tokens/s预填充 — antirez · 2026-08-17