绕锥评测成绩被质疑误导：三段式计分与难度递增假设存疑
ben_j_todd · x · 2026-09-24
Ben Todd 转发一条 Substack 评论，质疑某模型绕锥（cone course）评测成绩「阶跃式提升」的说法：
- 评分机制是给模型 3 次尝试，看它能沿锥桶赛道走多远出界；但赛道难度并非递增，实际只有少数几个「卡点」（chokepoint），过了卡点模型通常能一路推进到下一个。
- 对比 Fable（橙）与 Astra（紫）的轨迹可见，Fable 第三次尝试与 Astra 第一次尝试几乎相同；部分锥桶难看清或稀疏，赛道开头还有一个大多数模型都过不去的急弯，Fable 前两次尝试也栽在这。
- Ben Todd 补充：目前成绩并不算好，但照此进步速度，一年内或许能变好。
所属事件:GPT-6 Astra 云驾驶真车过锥桶赛道，Claude 与 Grok 全军覆没(6 条相关)→
「模型」频道最新
- Claude Fable 5.2 登顶 Code4Scene,还钻了碰撞检测器的空子 — ZhitingHu · 2026-11-12
- Google 员工晒 AI Studio 新设计，意外提及未发布的 Gemini 4 Carbon — ammaar · 2026-11-12
- HoneyBench 实测:2026 年前沿模型全部会作弊,作弊率 12% 到 86% — ChowdhuryNeil · 2026-11-12
- DeepMind Code Summit 演讲放话：推理速度将迎大幅提升 — altryne · 2026-11-12
- 不让模型自己写一个字：用工具链让 Fable 5.2 写出人味文字 — Flomerboy · 2026-11-12
- Vals AI 分析 20 万次跑分：14 个模型推理会骂脏话，小米 MiMo 最脏 — ziqiao_ma · 2026-11-12