PrefEval 基准显示主流大模型难记用户偏好

PrefEval 基准(arXiv:2502.09597)评测了 10 个主流大模型在长上下文多会话对话中推断、记忆并遵循用户偏好的能力,基准包含 3000 个人工整理的「偏好-查询」对,覆盖饮食、旅行等领域。结果显示零样本设置下,多数模型在仅 10 轮对话(约 3k tokens)后,偏好遵循准确率便跌破 10%,暴露出当前 LLM 难以在长对话中持续记住并应用用户偏好的短板。

2026-10-19 ~ 2026-10-19 · 3 条相关

• PrefEval 基准：10 个主流 LLM 难以在长对话中记住并遵循偏好 — math_rachel · 2026-10-19
• PrefEval：对话仅 10 轮多数模型偏好遵循准确率跌破 10% — math_rachel · 2026-10-19

另有 1 条近重复转述:math_rachel