手机+三台 Mac+两台 PC 拼出 60GB 内存,跑通 gpt-oss-120b
ANR2ME · reddit · 2026-09-29
据 wccftech 报道,Reddit 用户 "MedicineBlogscanner" 用一套惊人的异构分布式设备,成功跑起了 4-bit 量化的 gpt-oss-120b——该模型官方要求至少 60GB 内存。
他的设备组合包括:
- 一部 Galaxy S24+ 手机
- 一台 12GB 显存的 RTX 3060 mini PC
- 一台仅 12GB 内存的 Windows 笔记本
- Intel 版 MacBook Pro + Mac mini + M3 MacBook Pro
帖子将多台设备的内存/显存聚合为分布式推理池,绕过了单机内存上限,展示了消费级硬件也能运行 120B 级开源大模型的另类路线。
「Infra」频道最新
- Nebius 优化 agent 训练流水线,批次收集时间从 10 分钟缩到 3 分钟 — demian_ai · 2026-09-29
- 16GB AMD 显卡跑通 Qwen 27B Q4：100K 上下文 30 t/s 实测指南 — Haunting-Stretch8069 · 2026-09-29
- 开源项目 Celesto：给 AI Agent 一台 500 毫秒启动的专属电脑 — aniketmaurya · 2026-09-29
- 算账：Meta Muse 即便激进优化，每用户年成本也达 50 美元 — bookwormengr · 2026-09-29
- BioNeMo 团队优化稀疏模型训练：Mixtral 吞吐提升 2.21 倍 — AllThingsApx · 2026-09-29
- DeepSeek 弹性计算团队大量招人，发布大规模 Agent 训练沙盒基建分享 — teortaxesTex · 2026-09-29