双 T4 跑 Qwen3.8-27B：DFlash2 推理冲到 154 tok/s
Ishannaik · reddit · 2026-10-25
作者在 Kaggle 免费 2x T4（无 P2P、每卡 70W 功耗上限） 上压榨 Qwen3.8-27B 推理性能的实测：EXL3 4.0bpw 量化 + exllamav3，PCIe 上做张量并行，DFlash2 block drafter（7 token）投机解码，与无 drafter 基线做 greedy + exact 对比。
38 个 prompt 套件成绩：整体 55-57 tok/s（无 drafter 约 18-19，约 3 倍）；HumanEval 代码 154 tok/s；散文文本 35-37 tok/s。同机对比：llama.cpp 最佳 16.5 tok/s（MTP 在张量切分下崩溃），vLLM int4 + 自带 MTP drafter 40.8 tok/s。
瓶颈在散文接受率：DFlash2 每步接受约 2.5 token，代码则约 7。作者向社区求教：如何把散文接受率提到 2.5 以上；是否有人试过生成中途切换 drafter（散文用短 block、代码用长 block）；以及无 P2P 的 PCIe 卡上 TP all-reduce 的优化技巧。作者愿意分享 notebook。
「Infra」频道最新
- OpenRouter 数据：Anthropic token 日用量三个月涨约 4 倍突破 3T — matt_slotnick · 2026-10-25
- YouJiacheng 辟谣 K3 服务劣势论:同等流量需 21600 卡 GB200 — YouJiacheng · 2026-10-25
- Ultrapolis 作者拆解 60fps 全 AI 渲染每帧的技术细节 — mflux · 2026-10-25
- 机器人「大脑」可按小时租用:Dream-1 开放 API,Kyutai 发 REKI — lmoroney · 2026-10-25
- Reddit 用户晒 MacBook 本地 LoRA 训练全套参数求社区纠错 — Playswith_squirrel · 2026-10-25
- Bridgewater 1 亿份权限文档检索难题：turbopuffer 原生过滤做到 120ms P90 — AI Engineer · 2026-10-25