清华提出 Jev-LDE:一次示例编辑让 one-shot 准确率 81.2% 升至 88.1%
机器之心 · wechat · 2026-10-14
清华大学自动化系团队提出 Local Demonstration Editing(LDE)方法,并训练小型编辑模型 Jev-LDE,在大模型上下文学习(ICL)前对检索到的 demonstration set 做一次 Keep/Delete/Replace 局部编辑,避免昂贵的组合搜索与反复调用目标模型。
核心结果
- 48 个分类配置中 46 个优于 Semantic TopK 初始化,平均 one-shot 准确率从 81.2% 提升到 88.1%
- 训练奖励仅来自 Llama-3-8B,但策略可迁移到 Qwen 系列、DeepSeek-V4-Flash 等目标模型及多个 held-out 数据集
- 换用 BM25、CASE、TopK+ConE 等 pre-selector 后仍全部带来提升
方法要点
- 编辑器基于 Qwen3-1.7B,输出结构化 JSON 动作,只用目标模型预测对错作奖励信号,经 GRPO 强化学习后训练
- 端到端时间仅增加约 11%(82.1s→91.1s),远低于需多次打分的 TopK+ConE
- 消融显示随机编辑无收益,RL 后的编辑策略是关键
边界:收益集中在分类任务;GSM8K、AQuA-RAT 等数学推理任务上无明显提升甚至略降。一次编辑也无法处理候选池之外或需多处修改的情况。
「研究」频道最新
- IFM 开源 RL360:8192 并发沙箱、130 万 rollouts 的 RL 基建 — rupspace · 2026-10-23
- 号称匹敌 GPT-6.1 的 DNA 模型遭实测打脸:10 例 8 例不如随机 — anshulkundaje · 2026-10-23
- AI 揭穿阴谋论研究风波落幕:Science 撤回关注声明,结论不变 — DG_Rand · 2026-10-23
- Embodied First Exam:一行代码在 44 台机器人上考你的 Agent — ManlingLi_ · 2026-10-23
- Anima Anandkumar 演讲:AI 气象模型胜超算,但不会取代科学家 — AnimaAnandkumar · 2026-10-23
- GLM-5.3-Flash 实现 1M token 上下文训练,较基线提升 64 倍 — AndrewLBeam · 2026-10-23