6500 美元租游戏 GPU 训出 8B 模型,手机 CPU 跑 60 tokens/s
markjeffrey · x · 2026-10-01
Chutes.ai 的 Jon Durbin 在 Exploit Summit 演讲中介绍:用分散的游戏 GPU 训练了一个 8B 模型,GPU 租赁成本约 6500 美元,模型可完全在手机 CPU 上运行,速度接近 60 tokens/s。他主张开源开发与去中心化训练能让人掌控 AI,目标是打造「AI 界的 Linux」。
「Infra」频道最新
- Pareto 与 Engy 达成合作，将 Bittensor SN10 推理优化输出给第三方客户 — markjeffrey · 2026-10-01
- Respan 发布 Span-01 模型路由器：比单模型省 37% 成本 — ycombinator · 2026-10-01
- 实测 RTX 3090 功耗可降至 120W,推理省电又降温 — QuixiAI · 2026-10-01
- AI 当编译器：模型直出 PTX 汇编，FlashAttention 提速 1.37x — Azaliamirh · 2026-10-01
- Dell 首批 Vera Rubin NVL72 整机架系统量产出货 — yenkel · 2026-10-01
- 芝浦工大 Ozaki Scheme II 入选 CUDA 13.4,用低精度算力跑高精度计算 — udmrzn · 2026-10-01