放弃交叉熵？用强化学习从零预训练大模型的新范式
tokenbender · x · 2026-08-01
传统语言模型预训练依赖交叉熵，死板地认为只有单个 token 是唯一正确的延续。文章介绍了 avatarl 这一新范式，主张在预训练阶段引入强化学习（RL）框架。
- 机制：模型（player）不再受限于唯一答案，而是基于预训练的 critic 模型和真实数据提供连续的奖励信号。
- 优势：允许模型学习语言的丰富分布，对那些合理、和谐的备选 token 给予奖励，从而建立更深刻、细致的语言理解。
所属事件:探索式建模：预训练第三轴，最高6倍采样效率提升(12 条相关)→
「研究」频道最新
- 为 Kaggle Gemma 4 竞赛选手整理的消融实验资源 — ayushthakur0 · 2026-10-16
- 专家预测 2100 年前全球 AI 灾难概率中位数为 5% — ben_j_todd · 2026-10-16
- 经济学家的历史镜鉴:拖拉机冲击下美国青少年延长在校时间 — soumitrashukla9 · 2026-10-16
- 研究者提出 scaling laws 缺失参数 H：近年进步多靠人类投入而非算力 — lateinteraction · 2026-10-16
- 一个古老结构单元撑起免疫系统：免疫球蛋白折叠的亿年多职演化 — arjunrajlab · 2026-10-16
- 论文灌水压垮评审系统,研究者主张大量直接桌面拒稿 — boknilev · 2026-10-16