新论文:三指标路由器让 16GB 消费级 GPU 长上下文 RAG 零 OOM
chaumian · x · 2026-09-18
arXiv 论文提出 Tri-Metric Router,解决 RAG 在 NVIDIA T4(16GB VRAM)等消费级 GPU 上的「压缩悖论」:神经提示压缩会引入 KV cache 争用与预处理延迟、抵消生成时收益,而不压缩又会在长上下文下 OOM。
- 在 vLLM 服务模型与 PyTorch 压缩器共部署、内存紧张的场景下识别出两种失败机制
- 提出免训练的确定性策略,在 Raw、神经压缩(LLMLingua-2)、词法(BM25)三条管线间路由
- 依据三个 CPU 侧信号(空间复杂度 L、句法密度 ρkey、类符比 TTR)加硬件物理信号(VRAM 余量与延迟交叉点)决策,与以往纯语义自适应不同
- 阈值用 LongBench qasper 分析校准,T4 上交叉点约 4,332 词;分布外测试实现 0% OOM,达到 88.5±4.4% oracle 路由准确率
所属事件:Walmart 论文提出三指标路由器,让消费级 GPU 上 RAG 零 OOM(2 条相关)→
「Infra」频道最新
- B200/H100 租金周内创新高，年内涨 47% 和 31% — TheZachMueller · 2026-11-02
- vikhyatk:通往奇点路上算力将交替出现过剩与短缺 — TheZachMueller · 2026-11-02
- Mac 端 PyTorch 10 月下载量达 329 万,环比涨 20.5% — LysandreJik · 2026-11-02
- CVSS 9.8 严重漏洞:ingress-nginx 可被未认证攻击者实现 RCE — evilsocket · 2026-11-02
- 内存涨价三倍，特斯拉把 Optimus 大脑内存砍掉三分之一 — aakashgupta · 2026-11-02
- 1.7B 本地模型 LFM3 在 MacBook 上首次答对曼城赛程查询 — NielsRogge · 2026-11-02