清华 LongZero:零外部数据自合成任务强化长上下文推理
Tsinghua · hf · 2026-10-29
清华大学团队(万振南、陈建飞)发布 LongZero,让 LLM 在完全不用外部数据的情况下自我提升长上下文推理能力。
核心思路
- 传统 RL 训练长上下文推理需要长、多样、可验证的训练数据,人工标注昂贵,天然数据稀缺,现有合成方法依赖外部语料或更强的教师模型(教师越强越难获得)。
- LongZero 采用「零数据 RL」:由策略模型 πθ 自身从问答证据出发,直接或经扩展生成结构化的多跳与检索式长上下文任务,再用 GRPO 训练自举提升。
论文 10 月 21 日发布于 arXiv,模型已上架 Hugging Face。
「研究」频道最新
- LLM 回测被知识截止污染？Datology 给出可控合成数据方案 — josh_wills · 2026-10-30
- 单个神经元植入人设：Qwen3-8B 只训 12288 参数变猫头鹰 — maxsloef · 2026-10-30
- 数学家发现纽结与拉马努金公式的新联系,Axiom Math 参与解读 — Zulfikar_Ramzan · 2026-10-30
- AI 冲击数学界:哲学家提「清单模型 vs 生成式相遇」,数学进步将迎黄金时代还是终结 — Dr_Atoosa · 2026-10-30
- FACT：用人类视频加力信号训练机器人灵巧操作 — jiajunwu_cs · 2026-10-30
- 面对人工无法审完的超大 PR，社区尝试 AI 验证，leafcutter 提速约 10 倍 — jmschreiber91 · 2026-10-30