PrefEval 基准：10 个主流 LLM 难以在长对话中记住并遵循偏好

math_rachel · x · 2026-10-19

Rachel Thomas 帖串第 III 部分链接的 PrefEval 论文(arXiv:2502.09597)：评测 LLM 在长上下文多会话对话中推断、记忆并遵循用户偏好的能力。基准含 3000 组人工整理的偏好-查询对、覆盖 20 个话题，区分显式与隐式偏好，用生成与分类两类任务评测 10 个开源及闭源模型，上下文最高 100k tokens,并对比了多种提示、迭代反馈与 RAG 方法。结论：SOTA 模型在主动遵循用户偏好上普遍表现差，零样本下 10 轮(约 3k tokens)后多数模型准确率不足 10%；在 PrefEval 上微调可显著改善。