创业者炮轰当前 AI 推理架构：权重搬运方式愚蠢至极
whurley · x · 2026-09-20
转发 Dave Blundin 的观点：当前 AI 推理把权重从 HBM 搬进 GPU、用完即弃再重复，效率极低；在为图形处理设计的芯片上跑 AI，市场尚未定价这一错配。他认为让权重原地不动的架构可带来 1000 到 100 万倍效率提升，瓶颈只在供应链跟不上快速演进的模型架构。他上周与 Cerebus 创始人 Andrew Feldman、Atiq Raza 等人同台讨论了此话题。
「Infra」频道最新
- OpenAI 硬件 VP 详述首颗自研芯片 Jalapeño:9 个月流片 — bigdata · 2026-09-20
- llama.cpp 分支实现 Declarative Attention,解码耗时降到 0.71× — Ok-Shower7286 · 2026-09-20
- Vulkan 本地训练器 VTrain 修复内存泄漏，更多负载转移至 GPU — Savantskie1 · 2026-09-20
- vLLM 首日支持 Qwen-Image-2.1:KV cache 复用加速推理,附部署指南 — Alibaba_Qwen · 2026-09-20
- Mac 跑 ComfyUI 太痛，开发者自建 helmstudio 原生 MLX/Metal 启动器 — janishar · 2026-09-20
- vLLM-Omni 发布：KV 复用、FP8 等多项优化加速全模态推理 — vllm_project · 2026-09-20