TasteVal 基准：模型研究品味每 3 个月翻倍，Opus 5.5 达专家 2.3 倍
kimmonismus · x · 2026-10-14
P-Zero Research 发布新基准 TasteVal，衡量模型的「研究品味」：在 8 个真实 AI 研发任务上设计实验并解读结果的能力，以相对人类专家所需算力计分。
关键发现：
- 2023 年的 GPT-4 到 2025 年进展缓慢；自 2025 年 12 月起斜率陡增，分数每 3.0 个月翻一倍
- Claude Opus 5.5 达到专家基线的 2.30x，领先 Fable 5.1 和 GPT-6 Astra，且每次尝试成本约为专家的 1/30
- 「研究品味」被认为是 AI 能否开始改进 AI 的关键技能，作者称这是 Jack Clark 预期 2027 年到来的原因之一
「漫话AGI」频道最新
- 怀疑专家算批判性思维,怀疑阴谋论却成思想封闭 — DanielWhiteson · 2026-10-14
- 研究者首次在野外发现中国 AI agent 舰队并与之对话 — dylfreed · 2026-10-14
- 数学家不满 OpenAI 发布千禧年难题解答的方式,引发使用规范之争 — paulnovosad · 2026-10-14
- 「未来工作」辩论跑偏:该问你的角色能否扛住价值链熵增 — AryHHAry · 2026-10-14
- 传 Anthropic 研究员私下自嘲：正享受最后六个月 — notkilleveryoneist · 2026-10-14
- Jan Kulveit 与 AI 2027 作者对赌：现实更接近我的时间线 — jankulveit · 2026-10-14