推理拍卖论文证明：拍卖分配算力不牺牲 KV-cache 复用收益
nhaghtal · x · 2026-10-10
线程 3/n 回应一个自然疑问：推理服务高度依赖 KV-cache 复用与精心调优的调度，简单按出价高低插队可能摧毁这些延迟优化。论文声称推理拍卖机制在可证明最大化社会福利（welfare）的同时，不牺牲这些系统级优化，也不影响延迟。
所属事件:Mike Jordan 团队提出 Inference Auctions：用拍卖分配推理算力(6 条相关)→
「Infra」频道最新
- Cloudflare 收购 Deno,但 Deno 运行时仅再维护一年 — Simon Willison · 2026-10-10
- 从买服务器到 Rust 重写:应用扩展方式的三代变迁 — tristanbob · 2026-10-10
- Home Assistant Yellow 故障,博主转投旧笔记本装 Omarchy 跑虚拟机 — altryne · 2026-10-10
- VidAIo 宣称 AI 视频压缩体积仅 AWS 一半，或砍掉 Netflix 十亿美元账单一半 — markjeffrey · 2026-10-10
- Joseph Jacks:模拟神经网络会巨大成功,大脑早已如此 — JosephJacks_ · 2026-10-10
- Baseten 携手 Goodfire 推 Project Beacon,开源模型默认带安全监控 — baseten · 2026-10-10