Jev 模型提升 LLM 上下文学习示例检索，蒸馏 MLP 降开销
kalyan_kpl · x · 2026-11-04
论文提出用 Jev 模型改进 LLM 上下文学习（ICL）中的示例选择：直接评估候选示例对给定 query 的效用，可有效提升示例检索质量。
核心问题与解法：
- 将 Jev 应用于大规模检索时开销巨大——每个候选示例都要额外跑一次决策推理
- 作者引入知识蒸馏方案，把 Jev 的效用估计能力迁移到轻量多层感知机（MLP）
- 蒸馏后的模型学会逼近 Jev 的概率判断，实现高效示例排序，同时保持有竞争力的检索效果
所属事件:Jev 决策型语言模型优化 ICL 示例检索并可蒸馏提速(2 条相关)→
「研究」频道最新
- Anthropic 称将「即将」达到 RSP 加速 AI 研发阈值，并发布可证明推理研究 — tobyordoxford · 2026-11-04
- Google 扫描 1033 件真实家居品,打包成 345MB GLB 免费开放 — victormustar · 2026-11-04
- 这 10 篇 GPU 优化论文决定了今天模型跑得多快 — NandoDF · 2026-11-04
- 实测推翻常见建议：INT8 几乎无害，采样器才是关键 — YakovSava · 2026-11-04
- Karpathy 带火 HN 开源数据集：千万级帖子可当知识库直接用 — huangyun_122 · 2026-11-04
- PixelCraft 多智能体框架登场：专治多模态模型读图表翻车 — burkov · 2026-11-04