推理算力瓶颈的两条路
AravSrinivas · x · 2026-07-14
作者认为，想突破数据中心推理的电力瓶颈，现实可行的路径大致有两条：
- 让本地模型承担大部分 token 流转，由更小、更分散的模型协作完成推理；
- 走更激进的方向，把太阳能数据中心放到太空里。
所属事件:突破算力瓶颈：本地协作与太空数据中心(2 条相关)→
「Infra」频道最新
- 全同态加密 GPT-2 速通赛开跑:现纪录 3.031 秒/token — tensorqt · 2026-10-27
- 开源编译器 Latch 从 PyTorch 生成训练 megakernel，H100 上提速 2.75 倍 — sguada · 2026-10-27
- NVIDIA 称 HGX Rubin NVL8 每兆瓦 token 吞吐为 B200 的 10 倍 — thursdai_pod · 2026-10-27
- NVIDIA 称 HGX Rubin NVL8 每兆瓦 token 吞吐为 B200 的 10 倍 — thursdai_pod · 2026-10-27
- Together 推出并行 LoRA 实验：多个实验共享同一批 GPU，免重复配置 — togethercompute · 2026-10-27
- 要么人力商品化，要么 GPU 商品化：算力经济二选一之辩 — _AustinCalvert_ · 2026-10-27