开源推理云操盘手:算力若转向开源模型,缺口只会更大
gharik · x · 2026-10-08
Jeffrey Huang 回复称,他深度参与一家只运行开源模型(含中国模型)的中等规模推理云。他的判断是:如果算力需求从 Anthropic、OpenAI 这类闭源厂商转向开源模型生态,推理算力将变得极度稀缺——"我们现在就已经很缺了"。
这为「开源模型崛起 = 算力需求下降」的流行叙事提供了一个反向注脚:开源推理侧同样要消耗大量算力,且效率可能更低。
「Infra」频道最新
- 腾讯开源 STEPQuant:6-bit 递归状态省 68.7% 推理内存不失精度 — _akhaliq · 2026-10-09
- Bain 预测 2030 年全球 GPU/定制芯片出货 3860 万片，为 2023 年 10 倍 — Beth_Kindig · 2026-10-09
- 多团队共享 GPU 集群：AWS 发布 HyperPod 多租户参考架构 — AWS ML Blog · 2026-10-09
- Mistral 被指弃用核电转用七成煤电数据中心训练开源模型 — wavefnx · 2026-10-09
- 为什么每轮都把完整对话发给推理服务器?Reddit 热议服务端 KV 槽位 API 设想 — Vasili_Sk · 2026-10-09
- NVIDIA NeMo-DCR：1T 模型权重同步从 87.5 分钟压缩到 150 秒，提速最多 40 倍 — dair_ai · 2026-10-09