约11美元/百万token:去中心化训练新模型推理优化曝光
bittingthembits · x · 2026-09-13
jondurbin 转发并引用了自己团队的进展:去中心化训练 run 的成本约 $11/b tokens(每十亿 token 11 美元),MFU 表现出色,他称之为"legendary"。
但他强调,真正的重点不在去中心化训练本身,而是该模型架构带来的推理优化:
- 路由专家的 sparse fp4 原生计算
- 大部分注意力使用固定 KV cache
- 其余部分用 sparse latent
- 模型权重极小
这些数字来自一个未调优的 vllm 分支在自有模型架构上的测试,作者承认对比尚不完全公平,还需与更多模型对比。核心主张:廉价硬件上无限 token 的推理能力。训练使用了 liumio 的若干节点。
「Infra」频道最新
- 台积电拟明年 CoWoS 先进封装涨价至多 20%，AI 芯片需求持续火爆 — Beth_Kindig · 2026-10-31
- effect-harness + Cloudflare：agent 循环自由拆到多台 VM 上跑 — samgoodwin89 · 2026-10-31
- 谷歌 Project Suncatcher 太空 TPU 首次在轨运行并返回结果 — sundarpichai · 2026-10-31
- Together AI 推出 Post-Training 平台:Agentic RL 训练托管服务 — togethercompute · 2026-10-31
- General Compute 融资 1 亿美元投推理算力，CoreWeave 股价同周创新低 — YvesMulkers · 2026-10-31
- 分析师警告 AI 算力「越买越涨」正反馈环,Kioxia 闪存涨价预警引发闪崩 — bookwormengr · 2026-10-31