自托管 Kimi K3 仍不现实
haider1 · x · 2026-07-18
作者纠正自己之前的表述：个人用户今天并不现实 自托管 Kimi K3，能承担这类规模的通常是有成熟基础设施的大公司。
他进一步判断，未来 12–15 个月里，随着更好的量化、内存效率、推理软件和更便宜的硬件出现，这类大模型本地运行会变得更可负担、更实用。
「Infra」频道最新
- 全同态加密 GPT-2 速通赛开跑:现纪录 3.031 秒/token — tensorqt · 2026-10-27
- 开源编译器 Latch 从 PyTorch 生成训练 megakernel，H100 上提速 2.75 倍 — sguada · 2026-10-27
- 斯坦福上线 GPU 超算 Marlowe，服务数据科学与 AI 研究 — StanfordHAI · 2026-10-27
- NVIDIA 称 HGX Rubin NVL8 每兆瓦 token 吞吐为 B200 的 10 倍 — thursdai_pod · 2026-10-27
- Together 推出并行 LoRA 实验：多个实验共享同一批 GPU，免重复配置 — togethercompute · 2026-10-27
- 要么人力商品化，要么 GPU 商品化：算力经济二选一之辩 — _AustinCalvert_ · 2026-10-27