扩展版 Garlic 让 Qwen3.5 35B A3B 在 RTX 5060 Ti 上跑到 55 tok/s
Azazelionide · reddit · 2026-07-24
有人实测把 Qwen3.5 35B A3B float8 跑到了 RTX 5060 Ti 上，速度达到 55 tok/s；如果不录屏，能到 61 tok/s。
这套方案基于扩展版 Garlic 和一些 Gated Delta Network kernel 改动。作者称，这个结果明显快于用 llama.cpp 跑同一模型的 Q8 量化版本。
他还补充说，这还是没用 MTP 的速度；如果加上 MTP，生成还能继续提速。作者后续会发博客解释具体技巧。
「Infra」频道最新
- 分析师:全球 IT 年支出约 3 万亿美元,新增预算持续流向 AI — BenBajarin · 2026-10-26
- Anthropic S-1:每 1 美元收入烧 48 美分算力成本 — nmasc_ · 2026-10-26
- Persistent AI 入驻 UR 网络，隐私推理流量全程加密 — 0xSammy · 2026-10-26
- Anthropic 算力承诺曝光：Google 至少 1145 亿美元居首 — BenBajarin · 2026-10-26
- SpaceX 与 Apollo 达成 400 亿美元 AI 芯片与数据中心硬件租赁协议 — Polymarket · 2026-10-26
- Diamandis 盘点：SpaceX AI 业务年增 830%，Claude 64 小时设计 31.8 万抗毒蛋白 — PeterDiamandis · 2026-10-26