RTX 4070 Ti + Mac Air 跑 Qwen3.8 27B 达 11.7 tok/s

zannix · reddit · 2026-08-24

用户通过 llama.cpp RPC 将 RTX 4070 Ti (12GB) 与 M5 MacBook Air (16GB) 联合运行 Qwen3.8 27B (IQ4XS),在 32k 上下文、Q8 KV cache 和 MTP 开启的设置下,实现了约 11.65 tok/s 的速度。作者询问是否有进一步优化配置(如 tensor split 比率)能在不牺牲精度和上下文长度的情况下提升至 15 tok/s。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →