Kangwook Lee 披露本地推理细节：W4A16 量化下单并发约 120 tok/s
Kangwook_Lee · x · 2026-10-22
针对网友关于推理速度测试条件的追问，Kangwook Lee 回应：该组数据是在 W4A16 量化、短输入、并发数为 1 的条件下测得；不启用 drafter 时速度约 120 tok/s。至于首 token 延迟、峰值内存和高并发表现，他表示可由 @ugonfor 提供更多细节。这组口径信息有助于判断该方案更适合本地交互还是高并发服务场景。
「Infra」频道最新
- 美光专家：HBM 供应到 2029 年都将处于紧缺状态 — BenBajarin · 2026-10-23
- C 多线程实验：仅给计数器加 64 字节填充，速度即提升 3-4 倍 — cneuralnetwork · 2026-10-23
- 两台 £300 骁龙迷你 PC 无 GPU 跑 Qwen3.8 Flash Next，实测 46 tok/s — WorldlyAd7946 · 2026-10-22
- ai& 用三厂商异构算力跑 MiniMax H3，生成价格仅官方约七成 — DavidBennett__ · 2026-10-22
- PS5 与 Switch 2 破解潮起，能否变身大众本地 LLM 主机 — cute_spider · 2026-10-22
- 黄仁勋回应 neocloud 质疑：借贷成本高是 AI 需求旺盛的副作用 — rohanpaul_ai · 2026-10-22