Google 论文：无需任何外部数据，LLM 实现跨模态自我提升
google · hf · 2026-10-26
Google 与乌尔姆大学论文提出 On-Policy Self-Training：一种数据无关的 LLM 自我改进框架。
核心做法：
- 将 on-policy 自蒸馏重构为自训练框架：仅凭粗粒度的主题描述，模型自己合成问题-答案对与带特权信息的推理轨迹，全程不需要人工标注 prompt、标准答案或监督信号。
- 研究发现，在完全合成的特权信息上自蒸馏，能让模型在多个领域提升，同时保住未训练领域的能力。
- 框架在文本与多模态（VQA）上均验证有效，在标准语言基准上取得一致的自我改进。
结论：基础模型内部蕴含丰富的潜在能力，无需外部任务监督即可被放大。
「研究」频道最新
- 剑桥 NLIP 团队携 8 篇论文亮相 EMNLP 2026 布达佩斯 — vlachos_nlp · 2026-10-26
- MoEdernColBERT 架构拆解:每层 8 选 2 专家加共享专家 — tomaarsen · 2026-10-26
- 多向量检索是小模型抗衡大编码器的质量关键 — tomaarsen · 2026-10-26
- 两篇视觉语言论文入选 EMNLP 2026：V-Rubrics 与 EgoTools — liuziwei7 · 2026-10-26
- Microduck 爆红后团队公开技术细节：8×8 深度传感器实现 2cm 重定位 — mishig25 · 2026-10-26
- 粒子对撞预训练助力：仅 100 个宇宙模拟即达 R² 0.87 — bravo_abad · 2026-10-26