用决策型 LM 优选 ICL 示例，蒸馏成轻量 MLP 提速检索
_reachsumit · x · 2026-11-04
论文探讨用决策导向语言模型 Jev 评估候选示例对查询的效用，改进 in-context learning 的示例检索。
- 直接用 Jev 判断每个候选示例的有用性，检索质量有效提升
- 大规模检索时每个候选都需额外推理，开销大；作者将 Jev 的效用估计能力知识蒸馏进一个轻量 MLP
- 蒸馏后的模型可高效排序示例，检索性能保持竞争力
所属事件:Jev 决策型语言模型优化 ICL 示例检索并可蒸馏提速(2 条相关)→
「研究」频道最新
- 哈佛教授承认：AI 生成的文章评审已全面优于人类最佳水平 — iamfakhrealam · 2026-11-04
- Cohere等论文:合成预训练收益竟源于嵌入初始化偏差 — LauraRuis · 2026-11-04
- kalomaze 展示 DeepSeek V3.1 底座更大骨干实验，eval loss 降至约 0.82 — kalomaze · 2026-11-04
- Reddit 网友无梯度改写 Qwen 0.6B 权重：39.8M token 让模型「爱上一支乐队」 — Altruistic_Heat_9531 · 2026-11-04
- SpecPilot 智能体自动优化投机解码：速度从 4.46× 提升至 10.87× — pmttyji · 2026-11-04
- 自主 Agent 定制 MSA 策略，提升 AlphaFold 3 蛋白复合物预测 — SJTU · 2026-11-04