同一个任务两种「质感」：RL 过拟合模型与通用智能的手感差异

theteknosaur · x · 2026-11-02

作者对比观察两个模型做同样的任务：一个明显被 RL 调成了「刷榜机器」（benchmaxxing）——能从输出里感受到梯度痕迹，每个任务都被拽向奖励模型偏好的形状，留下「基准疤痕组织」；另一个则按需从相关领域取权重，通用能力自然流淌，没有刷榜过拟合的质感。同样的任务，输出的「纹理」完全不同。这是一条关于 RLHF/RLVR 后训练副作用的有观点的行业观察，呼应了社区对 benchmark 过拟合的持续讨论。