两张 X79 矿架拼成一台推理机:GLM-5.3-Flash 跨机分层跑出 42 tok/s
alexlucaci · reddit · 2026-11-05
Reddit 用户 alexlucaci 在 Project Maya 中实现了双机分层拆分推理:两台各装 4×RTX 3060 的老 X79 矿机,Box A 跑 0-23 层 + tokenizer/API,Box B 跑 24-44 层 + MTP 头和采样器,中间只用 1GbE 交换机。
核心数据
- 每个 token 仅隐状态跨网络一次:fp32→bf16 无损打包约 25KB,延迟约 0.3ms
- GLM-5.3-Flash(Maya-S24 量化,128K 上下文,MTP 投机解码)达到 38-42 tok/s 解码、30K 上下文约 1100 tok/s prompt 读取、agent 单轮 6-7 秒
- 编码 agent 基准 48/48 全过,与单机 8 卡基本持平(Qwen Code 22.9min vs 21.3min)
关键坑:瓶颈是内存不是网络——每机 16GB 时专家权重从 SATA SSD 读,单轮 31 秒;升到 20+32GB 后零 SSD 读取。网络开销仅占约 1-2%。补丁约 1900 行,已开源(Pull #1),含 IP 白名单 + HMAC 双向认证。One-shot 难题集 6/10,其中 3 题是 32K token 预算截断而非代码错误。
「编程与Agent」频道最新
- Living Brain 记忆层省 22.6 倍 token,API 5 美元起无订阅 — testingcatalog · 2026-11-05
- Notion 让 ChatGPT/Claude 等智能体共用一个「共享大脑」 — nbaschez · 2026-11-05
- 用户用 Claude 越狱 NordicTrack 跑步机，免掉每月 39 美元解锁 Netflix — peterjliu · 2026-11-05
- 独立开发者 SammHo 分享:用一份产品简报喂出 launch/changelog/营销全套内容 — SammHo · 2026-11-05
- ex-Google 产品负责人 12 月 17 日免费直播：用 Linear 上下文搭 GTM agent — SammHo · 2026-11-05
- SammHo:先写骨架产品简报再上 agent,Linear 工单就是上下文 — SammHo · 2026-11-05