南加州大学提出 TOPL：将生成转为分类，提升大模型分布外泛化
robinomial · x · 2026-08-01
南加州大学的研究者提出了 Token-Level Off-Policy Labeling (TOPL) 方法，通过改变后训练范式来提升语言模型生成的忠实度。
- 核心思路：不再单纯优化预测下一个 token，而是将训练重构为 token 级别的二元分类任务，让模型学会判断生成的 token 是否“好”或“忠实”。
- 实验结果：在文档摘要任务的 11 个数据集上，TOPL 展现出强大的分布外（OOD）泛化能力，超越了多种序列级和 token 级基线方法；在机器翻译任务中也表现出良好的迁移效果。
- 机制分析：消融实验表明 token 级别的学习信号对性能至关重要，序列级方法无法提供类似收益。此外，TOPL 学习到的 LoRA 适配器起到了线性分类头和导向向量的作用，具有很好的可解释性。
所属事件:南加大提出TOPL方法提升大模型生成忠实度(2 条相关)→
「研究」频道最新
- MIT AI 模型解码细胞通信语言，瞄准再生医学 — emmanuelvivier · 2026-10-16
- 视觉预训练模型做触觉预测有多难?机器人研究者激辩跨模态迁移 — KyleMorgenstein · 2026-10-16
- Tsallis 熵正则化最优 transport 统一 Monge 与 Sinkhorn 两大框架 — FrnkNlsn · 2026-10-16
- EPFL/DeepMind 研究者将线上讲解 Simplex Diffusion Models 论文 — ArnaudDoucet1 · 2026-10-16
- 美团 LongCat 团队发布 Data World：合成数据环境训练数据智能体 — meituan-longcat · 2026-10-16
- FDE-Gym 基准曝光 AI 交付最后一英里：前沿模型得分最多 0.56 — DeepLethe · 2026-10-16