GPU 推理该不该共享？一场关于本地部署效率的技术论战

mike64_t · x · 2026-10-30

mike64t 在回复中解释本地推理的物理成本：运行模型需把权重从内存搬到处理器，这一步比推理计算本身贵约 100 倍；100 个用户共享一次权重加载可把成本降约 50 倍。

但他随后反驳「因此该集中化」的结论：CPU 世界里几乎没有软件接近最优运行，照此逻辑人类早就该用分时大型机加廉价终端了。现实里「低效」往往换来更好的生活质量和灵活性——python venv、静态链接的存在就是证明。没人会为桌面机的空闲 CPU 时间内疚，几年后对 GPU 也会如此。