DwarfStar 让 Ada 卡盒变推理服务器

antirez · x · 2026-07-20

antirez 表示,DwarfStar 的新版本可以把一台装满 Nvidia Ada Lovelace 显卡的机器,变成能实际工作的推理服务器。它面向多会话场景,预填充速度可达每秒数千 token,重点是让当前并不太受支持的这类 GPU 组合也能跑起来。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →