腾讯发布 LifeSearch 基准:最强 agent GPT-5.6 Sol 也仅得 63.4%
Tencent-Hunyuan · hf · 2026-10-14
腾讯混元团队发布 LifeSearch 基准,专门评估 deep research agent 在真实生活与生产力场景的能力,补齐现有基准偏重学术/合成任务的空白。
- 规模:203 个中英文任务,源自 7 大生活与生产力领域的真实用户查询;超 4500 小时人工标注、4000+ 条专家细粒度评分标准(覆盖报告质量与具体数值、单位、日期、URL)
- 结果:统一评测 12 个先进 DR agent,最强的前沿 agent GPT-5.6 Sol 仅得 63.4%,提升空间巨大
- 评测可靠性:LLM judge 配置经人工标签校准,聚合分数与人类判断高度一致(Spearman ρ=0.89,Kendall τ=0.81)
- 系统分析了各 agent 的表现模式与失败方式
「研究」频道最新
- 自动驾驶公司 Swaayatt 实现无标志物环境下相机-LiDAR 在线自动标定 — sanjeevs_iitr · 2026-10-14
- 北大团队 LongR:密集效用奖励强化学习突破长上下文推理 — PKU · 2026-10-14
- 南大腾讯研究:4 条 prompt 蒸馏效果抵 3840 条,prompt 效用取决于师生对 — Tencent-Hunyuan · 2026-10-14
- 约 2000 美元 token 费用跑通 RISC-V 加密 SoC 完整后端流程 — IgorCarron · 2026-10-14
- Tufts 与圣塔菲研究所新论文:把 LLM 传播建模为「认知病毒」 — alex_verem · 2026-10-14
- 三年打磨后 PyVBBC 1.5 发布,贝叶斯模型推断工具大幅升级 — twiecki · 2026-10-14