GLM 5.2 跑出 35t/s 生成速度，DwarfStar 实现 Agent 级推理
antirez · x · 2026-08-22
Antirez 报告了在 DGX Station 上的最新进展：使用 DwarfStar 混合 RAM/VRAM 推理技术，成功运行了 4bit 量化、总重 500GB 的 GLM 5.2 模型。实测生成速度达 35 tokens/s，预填充速度 2000 tokens/s（预计 soon 提升至 3k）。结论是该方法完全可以支撑前沿开源权重模型以 Agent 可用的速度运行。
「Infra」频道最新
- 2026 晶圆厂设备支出上调至 1530 亿美元，设备周期被拉长 — BenBajarin · 2026-10-16
- Steam 更新实测 5.23 秒启动反超 Epic，网友调侃 vLLM 该加入「启动时间大战」 — AlpinDale · 2026-10-16
- Shadeform 预告下周一发布六项新功能：降 GPU 成本、扩算力来源 — _jaydeepkarale · 2026-10-16
- Fastino 推出后训练 API：兼容 Tinker SDK，成本降 25%-85% — kalyan_kpl · 2026-10-16
- 达拉斯联储估算：AI 数据中心举债约占期限供给八分之一 — _onionesque · 2026-10-16
- 12GB 笔记本显卡硬跑 Wan2.1 14B FP16:内存交换压测 4 分 11 秒出片 — RYuu-1120 · 2026-10-16