PrefEval 基准:对话仅 10 轮,模型记住用户偏好的准确率跌破 10%
math_rachel · x · 2026-10-19
mathrachel 线程中介绍 PrefEval 基准:测 LLM 在长对话中推断、记忆并遵循用户偏好的能力,包含 3000 个人工整理的「偏好-查询」对,覆盖饮食、旅行、娱乐等 20 个话题。
关键发现:
- 零样本设置下,仅 10 轮对话(约 3k token)后,大多数模型的偏好遵循准确率就跌破 10%
- 即使配合高级提示与检索方法,长上下文对话中的偏好遵循仍持续退化
这揭示了当前模型在长期个性化上的显著短板。
所属事件:PrefEval 基准显示主流大模型难记用户偏好(3 条相关)→
「研究」频道最新
- 1.9MB LoRA 修复 MOSS-Image SFT 垂直色条纹:非训练而是权重提取 — Nynxz · 2026-10-19
- a AND b AND c 有三种执行方式，选错差 12ms：DataFusion 过滤器优化解析 — Abhishekcur · 2026-10-19
- 安全报告为何证明不了安全：对抗性场景下的论证缺陷 — davidmanheim · 2026-10-19
- UCSD 的 ACT3D:让 VLM 主动探索 3D 世界,平均准确率 53.2% — UCSanDiego · 2026-10-19
- 上海科技大学提出 OPMD:蒸馏中间计算而非仅监督输出 — ShanghaiTech · 2026-10-19
- LexFrame:用模型自身语义解读残差流,实现归因与早退 — Jian Gu · 2026-10-19