UIUC CURIO:好奇心驱动测试时学习,数学发现任务最高提升18.3%
UIUC-CS · hf · 2026-10-14
UIUC、马里兰大学、Stanford 提出 CURIO,一个好奇心驱动的测试时学习框架,让 LLM 在开放探索中能从成功与失败中更新自身,而不只是冻结模型的上下文搜索。
方法
- 引入内在好奇心世界模型(ICWM):在策略隐状态表示中学习转移,对采样到 top-k 之外的 token 给出预测误差奖励
- 用 epoch 归一化与退火权重控制好奇心奖励对策略更新的贡献,避免过早压制低奖励但可能有前景的方向
结果:在 Qwen3 8B–235B 骨干上的六个数学发现任务与单细胞去噪任务中,五个数学目标超过仅任务奖励的 RL 对照,Hadamard 相对提升 18.3%,去噪 Score 提升 10.8%,Circle Packing 追平已报道最佳;代码多样性测量显示生成程序结构差异更大。
「研究」频道最新
- AI 安全新刊 Alignment Journal 开放投稿，付酬审稿人 — sethlazar · 2026-10-23
- Perceptic 发布 PercepticOS:面向「科学超级智能」的 AI 科研工作台 — nathanbenaich · 2026-10-23
- EPFL Bosselut 11 月线上演讲:长上下文处理即测试时学习 — andre_t_martins · 2026-10-23
- Cohere 演讲：DRATS 自适应任务采样改善多任务 RL 数据分配 — Cohere · 2026-10-23
- MIT CSAIL 推出 X-Hinges：3D 打印内置传感的自感知物件 — MIT News AI · 2026-10-23
- CMU 博士生分享：全注意力 Transformer 训练后期可改造为混合架构 — Cohere · 2026-10-23