Altman:人人本地跑模型是资源错配,DRAM 利用率仅 5%
FinanceYF5 · x · 2026-10-30
Sam Altman 表示,在算力与内存供应紧张的环境下,本地推理是一种糟糕的全球资源配置:让每个人电脑里都放着大量稀缺 DRAM、却只有约 5% 的时间在用,非常低效。他称当供应紧张时,真正需要的是让云端资源保持最高利用率,并指出很多人的直觉恰恰与此相反。
所属事件:Altman 称本地推理浪费 DRAM 引反弹，并称内部新模型连破难题、或需限制模型智能上限(37 条相关)→
「Infra」频道最新
- 从业者直言:重补贴下做前沿 AI 实验依然昂贵 — andreisavu · 2026-10-31
- 推理引擎 Resin 新增 KV cache 分层存储，可用 CPU 内存扩 GPU 显存 — andersonbcdefg · 2026-10-31
- Rust 版 MLIP 推理引擎 llmlip-rs：比 PyTorch MACE 快 17.7 倍 — CatAstro_Piyush · 2026-10-31
- MOSS Image 搭配 NVIDIA PiD：无 VAE 直出 4K，秒级高清生图 — TimeTruth2490 · 2026-10-31
- Anthropic S-1 数据推算:订阅仅占收入 18%,却烧掉过半算力 — teortaxesTex · 2026-10-31
- Reddit 讨论：4-bit 量化可省 75% 内存，为何大厂不用 — Excellent_Place4977 · 2026-10-31