NVIDIA UNREAL：一套内部表征统一检索与长上下文，仅加 50 万参数
_reachsumit · x · 2026-10-07
NVIDIA 团队发布 UNREAL（UNifying REtrieval And Long-Context with a Single Model），提出模型原生的证据选择框架：直接从冻结 LLM 的内部表征编码语料块、生成检索 query，同一套机制同时服务于语料级检索与长上下文推理，仅新增不到 50 万可训练参数，骨干模型不变。
实验亮点：
- 在 3B token、2100 万块的 Wikipedia 索引上，四种 dense/hybrid 版本均超过 SOTA retriever-reranker 系统；HotpotQA 召回率从 49.1% 升至 73.2%，2WikiMultiHopQA 从 31.7% 升至 60.1%
- 用于长上下文时可在生成前剔除干扰块：NoLiMa 在 128K 最大长度下准确率从 1.0% 升至 24.83%，LV-Eval F1 在 256K 下从 49.97% 升至 54.66%
- 从约 32K token 起即降低 FLOPs 与首 token 延迟，上下文越长收益越大
所属事件:NVIDIA 发布 UNREAL：一个模型统一检索与长上下文(2 条相关)→
「研究」频道最新
- π 的无理性指数上界压到 6.0446,证明已用 Lean 4 完整形式化 — Michael_D_Moor · 2026-10-07
- 3-sum 降到 n^1.999 让人担心数学「丑陋」?换个视角又美了 — thomasahle · 2026-10-07
- NVIDIA 发布 UNREAL:一个模型统一语料检索与 128K 长上下文 — nvidia · 2026-10-07
- 实测 LLM 当 RAG 质量评审:gpt-4.1-nano 仅比瞎猜略好 — Giulio Zeloni · 2026-10-07
- SlimWise 解耦 MoE 前后阶段专家剪枝,解码吞吐最高提升 1.81 倍 — Gunho Park · 2026-10-07
- 从纯像素学出判别性表示,Drifting Models 的 FID 降低 82–95% — Doudou Zhang · 2026-10-07