斯坦福教授：扩散模型让推理像训练，GPU终于干回本行
victor_explore · x · 2026-09-21
引用 Inception CEO、斯坦福教授 Stefano Ermon 的观点：Transformer 当年取代 RNN 修复了训练，但推理从未得到同样修复——模型必须先有前9个token才能写第10个，导致 GPU 大部分时间在搬运权重而非做计算。扩散模型正是推理侧的修复方案：它让推理过程看起来像训练，这正是硬件原本被设计出来适配的形态。作者因此主张，推理速度是一种架构选择，而非更大的集群能解决的问题。
「Infra」频道最新
- Vercel 上中国模型 token 份额三个月涨约 5 倍 — menhguin · 2026-09-21
- 四张 Intel B70 还是 128GB MacBook？本地大模型硬件求助 — Rokett · 2026-09-21
- Jeff Dean:RL+新 EDA 工具有望把芯片设计从 2 年压缩到 3 个月 — ycombinator · 2026-09-21
- fal Serverless 推出集群模式,单域 1000 块 H200 走 RDMA 按需用 — isidentical · 2026-09-21
- Meta 数据中心落地路州，教师一次性多拿 5 万美元税金支票 — victor_explore · 2026-09-21
- Agent Substrate 开源：比容器密度高 10 倍的 Agent 运行时 — rakyll · 2026-09-21