「推理拍卖」论文上线：算力稀缺时按出价调度且不损失延迟
nhaghtal · x · 2026-10-10
作者补充其研究的论文链接并继续解释思路：现代推理系统依赖 KV-cache 复用与精细调度获得低延迟，若简单地让出价最高者先被服务，会破坏这些收益。提出的 Inference Auctions 机制在保留这些系统优化的前提下，可证明地最大化社会福利——让用户通过对延迟的出价表达真实偏好，而不是被动接受少数几档固定优先级。相关讨论见同系列前一条推文。
所属事件:Mike Jordan 团队提出 Inference Auctions：用拍卖分配推理算力(6 条相关)→
「Infra」频道最新
- 27B 4bit 模型 llama.cpp 仅 8-10 t/s，bitsandbytes 反而跑出 27 t/s — cephaloform · 2026-10-10
- 两大 H100 租赁价格指数周相关性仅 0.17,算力期货对冲存疑 — BenBajarin · 2026-10-10
- Chrome 新回声消除器让语音 Agent 词错率减半，不再自问自答 — chadwallacehart · 2026-10-10
- 降价刺激用量:AI 降价会否反而推高算力需求引争论 — dnlkwk · 2026-10-10
- Mike Jordan 团队新论文：用拍卖机制分配 LLM 推理算力 — nhaghtal · 2026-10-10
- SGLang-Diffusion 扩散模型推理框架将亮相 PyTorch 大会 — PyTorch · 2026-10-10