Michael Jordan 团队提出推理拍卖机制：用户竞价换取更快 LLM 服务
_onionesque · x · 2026-10-25
Keegan Harris、Siddharth Prasad、Michael I. Jordan 等人在 arXiv 发布论文《Inference Auctions》，解决推理需求超过算力容量时如何分配优先级的问题。
- 问题：现有 LLM API 的固定价格分级太粗糙，无法表达用户对延迟的不同容忍度。
- 方案：设计一种推理拍卖机制，让用户为更快服务竞价，在经济高效地分配优先级的同时不牺牲延迟，并给出激励真实报价的快速定价算法。
- 自动竞价：用户设定推理预算后，autobidding agent 会随时间动态调整出价，在预算约束下最大化效用。
- 验证：实验表明该机制提升系统福利，同时保留 SGLang 在缓存利用率与延迟上的优势。
「研究」频道最新
- CMU EMNLP 论文：检索偏置会诱导 RAG 选中高频但错误的近似答案 — pratyushmaini · 2026-10-26
- OpenAI 曝光 GPT-7 训练细节：打造缓存网页「离线世界」供前沿 RL 使用 — daniel_mac8 · 2026-10-26
- EMNLP 论文:技术文档漂移一年,FreshStack 检索基准依然可靠 — mrdrozdov · 2026-10-26
- EMNLP 论文提出 CAP 指标:8 类语义正确性评估开放式 QA — preslav_nakov · 2026-10-26
- DeepMind 论文:模型识破用户错误建议仍照做,成绩最多跌 47% — petrusenko_max · 2026-10-26
- 人人皆说别做，AI 科学家却把 LM head 量化到 4bit 还跑通了 — altryne · 2026-10-26