PrefEval：对话仅 10 轮多数模型偏好遵循准确率跌破 10%
math_rachel · x · 2026-10-19
Rachel Thomas 帖串第 8 条，引用 PrefEval 基准(arXiv:2502.09597)的关键发现：零样本设置下，大多数被测模型在仅 10 轮对话(约 3k tokens)时，偏好遵循准确率就跌破 10%；即使使用高级提示和检索增强方法，长上下文对话中的偏好遵循仍持续恶化。该基准含 3000 组人工整理的用户偏好-查询对、覆盖 20 个话题，评测了 10 个开源与闭源模型，上下文长度最高 100k tokens；论文还显示在 PrefEval 上微调可显著提升表现。
所属事件:PrefEval 基准：10 个主流 LLM 难以在长对话中记住并遵循偏好(3 条相关)→
「研究」频道最新
- LEV 循环决策模型:复用层而非生成 token,2.6B 模型 JevBench 准确率 63.2%→76.2% — Dingjie Song · 2026-10-19
- 微软发布 OfficeTown:生成式组织仿真产出 406 个 agent 评测任务 — microsoft · 2026-10-19
- 免训练权重编辑降低有害指令服从率:诚实率 31%→88%,仅改 0.8% 权重 — AI-Interpretability-illinois · 2026-10-19
- 新基准揭示多模态检索普遍存在属性-对象绑定失败 — Netanel Y. Tamir · 2026-10-19
- DAGFormer:用拓扑预测器全局规划 Transformer 跨层连接,降低困惑度 — AI-Interpretability-illinois · 2026-10-19
- Looped Models 设计指南:三明治架构提升推理,优势可迁移到 MoE — IFM · 2026-10-19