Walmart 免训练三指标路由器:解决 RAG 压缩悖论,T4 上 0% OOM
_reachsumit · x · 2026-09-17
Walmart 团队的 arXiv 论文针对消费级 GPU(如 16GB 显存的 NVIDIA T4)上的 RAG 部署提出"压缩悖论"：神经压缩会增加 KV cache 争用与预处理延迟，抵消生成时收益；不压缩又会在长上下文时 OOM。
他们提出 Tri-Metric Router——一个确定性、免训练的路由策略，在 Raw、神经压缩(LLMLingua-2)、词法压缩(BM25)三种管线间选择：
- 调度信号基于硬件物理量而非语义：VRAM 余量、延迟交叉点，加上空间复杂度 L、句法密度 ρkey、类符/形符比 TTR 三个 CPU 侧指标。
- 阈值用 LongBench qasper 剖析校准，T4 上交叉点约 4,332 词；贡献是校准方法论而非硬件常数。
- 分布外测试：0% OOM 失败，达到 88.5±4.4% 的 oracle 水平。
「Infra」频道最新
- 两周上线:GLM 智能体自建推理基建,端到端吞吐提升 3.2 倍 — jietang · 2026-09-17
- 开源 PolyServe 自动调优：三款 GPU 吞吐提升 56–97% — AffectionateSir8341 · 2026-09-17
- 中国电信开源星辰 Xing4.0-29B:首批全程昇腾 NPU 训练的 MoE 模型 — Skyline34rGt · 2026-09-17
- 曝 Circuit & Chisel 内部代号 Union Alpha，或为 Pareto 按账号路由 — cephaloform · 2026-09-17
- 8GB 的 4060 跑 34GB 模型：LTX2.5 本地生 10 秒视频仅 40 分钟 — BigBullshitta · 2026-09-17
- Nebius 10月起上调 GPU 按需价格，H100 涨17%、B300 涨21% — sudoraohacker · 2026-09-17