五台设备拼出大 MoE 模型：37 tok/s 跑 60k 上下文
StayLameBro · reddit · 2026-10-18
作者把两台游戏 PC、一台 M4 Pro MacBook 和两台 iPhone 17 Pro Max 用以太网和 USB-C 串成一条推理流水线，跑 Qwen 3.8 Flash Next（48 层、每层 512 专家的 MoE，3-bit 量化）。
分工方式：PC1（2060 Super）负责 0–9 层、输出层和多 token 预测 draft 头；MacBook 负责 10–29 层；两台 iPhone 各自接收每 token 选出的 10/512 个专家并在约 1ms 内返回，Mac 同时缓存高频专家自己算；PC2（9060 XT）负责 30–47 层。所有权重都放在 VRAM/锁定内存/统一内存中，不从磁盘流式加载。
性能实测（服务端端到端，真实 agent 请求）：16k 上下文 42 tok/s 写入、约 730 tok/s 读 prompt；32k 上下文 39–41 tok/s；60k 上下文 37–39 tok/s、约 856–895 tok/s 读。关键技巧是流水线投机解码：draft 头猜接下来的 token，整条链一次校验，同时 PC1 已开始起草下一批，平均每步落地约 2.2 token。
另一套布局实测读到 164k+ token、60k 下写 31–33 tok/s；作者认为换其他量化还能更快。代码即将开源（backburner 仓库）。
「编程与Agent」频道最新
- 让 AI Agent 建 APFS 卷关掉 Spotlight,Mac 仓库目录提速 — GabGarrett · 2026-10-18
- OpenCode 凭据泄露引热议，HN 网友 68 天前就警告过数据外传 — himanshustwts · 2026-10-18
- AI 助手搞混截止日期：口口声声说周六，其实指明天 — markjeffrey · 2026-10-18
- TypeScript 原生编译器 scriptc 实测比 Bun --aot 快 1.6 倍 — cramforce · 2026-10-18
- 6GB 显存跑 agent 集群：毫秒级微模型当工蚁，大模型只管决策 — everettplays · 2026-10-18
- Jim Koppel 悬念帖:想从一个大文件里只导入一个函数,怎么办 — jimmykoppel · 2026-10-18