中科院与快手发布 OmniBehavior 基准:最强模型模拟真实用户仅得 44.55 分
jiqizhixin · x · 2026-10-31
中科院软件所与快手推出 OmniBehavior 用户行为模拟基准（被 NeurIPS 2026 接收），揭示 LLM 模拟真实用户仍远未解决——目前被评测的最强模型综合分仅 44.55。
基准设计：
- 核心数据集包含 200 名用户三个月内的 212 万次交互，覆盖 5 大场景、22 种行为，保留长程连贯的行为历史而非孤立点击
- 模型接收用户画像、历史轨迹与当前上下文，需预测从二值动作到观看时长、客服回复等多样化行为
关键发现：模型普遍高估正向互动、软化负面表达、抹平个体差异，暴露出与真实用户行为的系统性偏差。
「研究」频道最新
- KAN 作者提「meta model」框架：用模型预测并设计模型 — ZimingLiu11 · 2026-10-31
- KAN + TabPFN 组合提升 scaling 预测：OOD 误差最高降 80% — ZimingLiu11 · 2026-10-31
- 预注册训练曲线预测：TabPFN 14 个后续检查点全部命中 — ZimingLiu11 · 2026-10-31
- KAN 作者议训练曲线预测:微调 LLM 不如表格基础模型 TabPFN — ZimingLiu11 · 2026-10-31
- 研究揭示混语提问降低 LLM 准确率,CANVAS 调整内部表征可挽回 — burkov · 2026-10-31
- 用煮奶茶解释 KV Cache：第 500 个 token 为何不重算前 499 个 — cneuralnetwork · 2026-10-31