让模型用 ICL 自写训练数据做增强，可提升微调泛化能力
AndrewLampinen · x · 2026-10-14
Andrew Lampinen 在讨论合成数据是否导致模型退化的串中，提到他与 konwookim 等人的工作：研究发现上下文学习（ICL）在三段论推理等更难的测试上泛化能力持续优于微调。
据此他们提出一种改进微调泛化的方法：让语言模型通过 ICL 提示来增广训练数据——即模型自己撰写新的训练数据来扩充数据集，至少在训练后期阶段能实际提升在真实数据上的泛化表现。
所属事件:多项研究表明合成数据累积不会导致模型崩溃(4 条相关)→
「研究」频道最新
- 经济学家用 AI 智能体模拟发放横财访谈：一个 AI 深陷遗产规划 — soumitrashukla9 · 2026-10-14
- MoE 模型 RL 训练做到零训练-推理不一致,全套开源含消融 — yacineMTB · 2026-10-14
- 1532 例基准测试:前沿 LLM 在压力与利益冲突下更易欺骗 — lulzxdxdxd · 2026-10-14
- 把问题当程序、指标、搜索,再到开放式科学发现 — madhavsinghal_ · 2026-10-14
- elder_plinius 发布 V3R1T4S:用闲置算力攻克开放问题,一切需可验证 — Kyrannio · 2026-10-14
- RigidFormer 入选 NeurIPS：用 Transformer 替代物理引擎模拟刚体动力学 — camenduru · 2026-10-14