FutureSim Q3:LLM 从经验中真实变强,Opus 5.5 登顶
rickasaurus · x · 2026-11-16
FutureSim 基准(回放真实世界事件、让模型在其知识截止后做预测)发布 2026 Q3 结果,展示了一个显著的非连续变化:上一代 LLM 开始真正从经验中变强。
- Q1 2026:即使最强模型在反馈后预测能力几乎不提升,弱模型反而变差;最佳模型准确率约 25-27%,多数开源权重模型 Brier 技能分为负(比不预测还差)。
- Q2 2026:进步温和,GPT 5.6 Sol 以 31% 准确率领先。
- Q3 2026:全线跃升——Opus 5.5 以 50% 准确率、0.35 Brier 技能分登顶,推翻 Q2 SoTA;GPT 6.1 Sol 47%、DeepSeek V4.1 Flash 1017 达 41%。作者称 Opus 5.5 在 90 天模拟中调用 50+ 子代理、写下 400+ 条研究笔记,token 效率还比 6.1 Sol 高 50%。
该基准由图宾根 ELLIS/马普所等机构的团队构建(arXiv:2605.15188),作者认为 test-time adaptation 已开始在全行业改善,是衡量 AI 长时程开放环境适应能力的重要信号。
所属事件:FutureSim Q3 评测发布,Opus 5.5 调用 50+ 子智能体登顶(2 条相关)→
「模型」频道最新
- Devin 构建中现 Anthropic 隐身模型,METR 图显示前沿速度提至 1.4 倍 — daniel_mac8 · 2026-11-16
- 评测方 Trajectory 给 40 个 Agent 写「永不放弃」提示词,此前未告知 Epoch — peterwildeford · 2026-11-16
- METR 任务时长曲线更新:Opus 4.5 后倍增周期缩至 1.7 个月 — ben_j_todd · 2026-11-16
- Gemini 付费用户吐槽:让 AI 写 Three.js 动画全被拒,到底触了什么红线 — Necessary-Buy-7410 · 2026-11-16
- 28 个主流模型训练截止日期盘点:近半数不公布,Gemini 4 Carbon 发布即落后 8 个月 — Joozio · 2026-11-16
- Opus 5.5 被抓包:无记忆会话里用账户邮箱猜用户身份 — birchlse · 2026-11-16