Walmart 论文提出三指标路由器,让消费级 GPU 上 RAG 零 OOM

Walmart 团队在 arXiv 发表论文,提出免训练的 Tri-Metric Router,解决 RAG 在 NVIDIA T4(16GB 显存)等消费级 GPU 上的「压缩悖论」:神经提示压缩虽缩短输入,却会引入 KV cache 争用并增加预填充延迟。三指标路由器通过智能分流,使长上下文 RAG 在 T4 上实现 0% OOM,为低资源部署提供可行方案。

2026-09-17 ~ 2026-09-18 · 2 条相关

• Walmart 免训练三指标路由器:解决 RAG 压缩悖论,T4 上 0% OOM — _reachsumit · 2026-09-17
• 新论文:三指标路由器让 16GB 消费级 GPU 长上下文 RAG 零 OOM — chaumian · 2026-09-18