研究：指令微调让模型更听话，但语义多样性随规模缩水

burkov · x · 2026-11-08

指令微调能帮助语言模型更好地遵循指令、给出更有用的回答，但也会让输出的语义多样性下降。研究发现，这种损失随模型规模变大而加剧：更大的基座模型能生成更广的内容范围，而更大的指令微调模型反而趋于同质化。多样性是模型服务不同 prompt、产出真正不同想法的能力的一部分，因此这点很关键。

文章还评估了能否在不放弃指令微调收益的前提下减少这一损失，提出 annotation-anchored training 方法：让模型在预训练阶段学会生成描述内容的简短标签，在指令微调阶段则训练模型按给定语义计划进行响应，以保留语义多样性。