ICL-Bandit 用多臂老虎机自动挑示例，提升 LLM 广告相关性标注准确率
burkov · x · 2026-11-07
广告系统依赖专家判断某广告是否回答了用户查询，人工标注成本高、速度慢，而 LLM 直接标注又容易缺乏垂直领域的专业语境。这篇文章提出 ICL-Bandit 方法，把「在 prompt 里放哪些示例」本身建模为一个重复选择问题：系统不断尝试不同的 demo 组合，检查模型标签与已知专家标签是否一致，并据此反馈优化后续的示例选择。
- 评测用了 158 万条专家标注样本作为 demo 池
- 按时间切分的训练集与测试集分别约 1 万条和 2000 条 query–ad 对
- 思路可推广到其他需要少量高质量示例做 in-context learning 标注的场景
「研究」频道最新
- 单细胞 eQTL 工具 SAIGE-QTL 发表于 Nature Genetics — anshulkundaje · 2026-11-08
- François Fleuret 与 lucidrains 隔空推演激活归一化公式的数值风险 — giffmana · 2026-11-08
- MaxxBench 揭刷榜真相:DeepSWE 同分 74% 的模型实测相差 23 个百分点 — dyn___ · 2026-11-08
- 两个 ~500B MoE 的后训练路线对比：单一 RL 跑 vs 联合 RL 跑 — himanshustwts · 2026-11-08
- 通用 AI 故事比以模型自身为主角更能塑造行为,人格选择模型遭质疑 — repligate · 2026-11-08
- 审稿人硬刚 70 页附录：主论文没答的问题，我不会去附录寻宝 — CharlotteHase · 2026-11-07