Mac Studio 外接 RTX 5090 跑 Qwen3.8 达 210 tok/s，项目已开源
GabGarrett · x · 2026-11-10
开源项目 Apple NVIDIA Sidecar（11/8 发布）把一台 Mac Studio（M5 Max 64GB）通过雷电扩展坞连接 RTX 5090 组成统一推理引擎，用 NVIDIA 官方 FP4 权重跑 Qwen3.8 Flash-Next，单路解码约 210 tok/s，高于已公开的其他单机方案。
横向参考（测法各异，仅看量级）
- 一台 DGX Spark 约 43 tok/s；Jetson AGX Thor 约 47
- M4 Max 峰值约 83；5090 + 128GB 内存 PC 跑 NVFP4 约 114-116
- 72GB RTX PRO 5000 中位 159
已知短板
- 8K 提示 prefill 约 1,900 tok/s（好的 PC 方案可超 3,900）
- 单会话服务，1-16 路并发下总输出恒定约 61 tok/s
- 雷电链路实测单向 6.79 GB/s、反向 5.53（标称 7.88）
- 驱动为作者本地修改版，未随仓库发布，复现需自行解决驱动问题
「Infra」频道最新
- InfraRSI 用智能体自优化训练基础设施,平均 MFU 从 17.4% 提至 30% — dair_ai · 2026-11-10
- 2x RTX PRO 6000 桌面 AI 主机 26100 美元起,把数据中心搬回家 — dee_hw · 2026-11-10
- 淘宝 MNN-Pocket-0.3B 登上 Hugging Face 热榜:Qwen3 端侧 INT4 小模型 — taobao-mnn · 2026-11-10
- Cloudflare Auto Router 实测体验如何？开发者在找智能 LLM 路由 — MartinGTobias · 2026-11-10
- 搜索和推荐系统早就全是 Transformer:圈外人误解有多深 — burny_tech · 2026-11-10
- Hetzner 推 eBPF 云网络栈 hcnet Beta,单机并发连接提至 24 万 — DanielLockyer · 2026-11-10