arXiv论文：LLM嵌入学习中的推理坍塌与CoFree框架

_reachsumit · x · 2026-09-18

中国人民大学等团队的 arXiv 论文《Reasoning Quality Matters》指出，用 LLM 生成推理来优化文本嵌入时会出现"推理坍塌"：面向嵌入目标的特化会抑制有用的推理生成，或产生与检索无关的文本。

论文提出两阶段框架 CoFree：第一阶段用参考引导的监督微调恢复基础嵌入模型的推理能力并保留表征强度；第二阶段在强化学习中引入嵌入导向与推理导向的双奖励，保证对检索目标相关性的细粒度推理，把嵌入学习从静态对齐变成推理引导的搜索过程。实验显示 CoFree-4B 在多项基准上取得领先的平均表现。