RTX 4070 Ti + Mac Air 跑 Qwen3.8 27B 达 11.7 tok/s
zannix · reddit · 2026-08-24
用户通过 llama.cpp RPC 将 RTX 4070 Ti (12GB) 与 M5 MacBook Air (16GB) 联合运行 Qwen3.8 27B (IQ4XS),在 32k 上下文、Q8 KV cache 和 MTP 开启的设置下,实现了约 11.65 tok/s 的速度。作者询问是否有进一步优化配置(如 tensor split 比率)能在不牺牲精度和上下文长度的情况下提升至 15 tok/s。
「Infra」频道最新
- 双 RTX 6000 跑 Qwen3.8-27B:吞吐 150t/s 却比 Claude 慢 12 倍 — EkbatDeSabat · 2026-08-24
- 听证会语言分析:数据中心争议从能源账单转向健康与噪音 — WillRinehart · 2026-08-24
- 给每个 Agent 分配真实邮箱后,我们踩了这些坑 — saltexx · 2026-08-24
- GPU 涨价显优势,2027 前重仓 Blackwell 和 Rubin者领先 — GavinSBaker · 2026-08-24
- 英伟达推 NVLink Fusion:连接 XPU 提升性能与上市速度 — nordicinst · 2026-08-24
- 小米发布新 Xring 芯片,交由台积电 3 纳米工艺代工 — pstAsiatech · 2026-08-24