Walmart 免训练三指标路由器:解决 RAG 压缩悖论,T4 上 0% OOM
_reachsumit · x · 2026-09-17
Walmart 团队的 arXiv 论文针对消费级 GPU(如 16GB 显存的 NVIDIA T4)上的 RAG 部署提出"压缩悖论"：神经压缩会增加 KV cache 争用与预处理延迟，抵消生成时收益；不压缩又会在长上下文时 OOM。
他们提出 Tri-Metric Router——一个确定性、免训练的路由策略，在 Raw、神经压缩(LLMLingua-2)、词法压缩(BM25)三种管线间选择：
- 调度信号基于硬件物理量而非语义：VRAM 余量、延迟交叉点，加上空间复杂度 L、句法密度 ρkey、类符/形符比 TTR 三个 CPU 侧指标。
- 阈值用 LongBench qasper 剖析校准，T4 上交叉点约 4,332 词；贡献是校准方法论而非硬件常数。
- 分布外测试：0% OOM 失败，达到 88.5±4.4% 的 oracle 水平。
所属事件:Walmart 论文提出三指标路由器,让消费级 GPU 上 RAG 零 OOM(2 条相关)→
「Infra」频道最新
- Gary Marcus:多米诺骨牌开始倒下,算力将重演光纤过剩 — GaryMarcus · 2026-11-02
- 单台 H200 跑不动 DeepSeek 4.1 Flash，两台每小时 10.59 美元 — daluoseo · 2026-11-02
- 所有系统知识都将汇入推理与硬件，AI 时代技能版图正在重写 — Abhishekcur · 2026-11-02
- AWS 被曝算力订满至 2027，专家称「卖光」说法需看语境 — DavidLinthicum · 2026-11-02
- 富士康董事长刘扬伟：AI 不是泡沫，产品需求依然明确 — pstAsiatech · 2026-11-02
- 单卡 H200 跑 DeepSeek V4.1,时租仅 5.3 美元 — daluoseo · 2026-11-02