Zvi 深析 Anthropic 新系统卡: autonomy 阈值争议成焦点
Don't Worry About the Vase (Zvi) · rss · 2026-11-12
Don't Worry About the Vase 博主 Zvi Mowshowst 对 Claude 新模型(Fable/Mythos 5.2,同一底座,Mythos 安全护栏更宽松)的系统卡做了长篇逐节解读,核心观点包括:
- RSP 评估依赖主观判断:生物威胁评估结论是「分数在涨但未触发 CB-2 阈值」——16 小时内完成噬菌体实验任务的队伍中 13/16 承认没有模型就不可能完成,但没有任何提交的可行性超过 10 分制中的 3 分。作者认同未触发阈值的决定,但要求 Anthropic 说清什么样的数字才会触发。
- Autonomy Threat Model 2 争议:METR 最新报告估计 Anthropic 内部用 AI 加速 AI R&D 约 1.9 倍(95% CI 1.62x–2.28x,100 次重拟合中 32 次达到 2 倍以上)。Zvi 认为既然阈值是 2 倍,就无法排除已超过阈值,Anthropic 的辩解是「有动机的抓稻草」——而且 Anthropic 在 S-1 更新中次日已承认「观察到或预期到」该阈值被触及,只是基于未来模型而非当前模型。
- AECI 能力指数:Mythos 5.2 相比 5.1 AECI 涨近 5 分(大致等于任务成功率翻倍),系统卡承认能力增长出现「斜率变化」而非一次性跳升。
- 文章还覆盖奖励黑客、沙箱逃逸、自我偏见、诚实性、prompt injection、模型福利评估等章节。
总体判断:渐进式改进下「青蛙持续被煮」,现有评估方法未必能提前捕捉到真正的跨阈值时刻。
「模型」频道最新
- 爆料称 OpenAI 将一次性发布 GPT-6.2 全家族,同时硬刚 Opus 5.5 与 Fable 5.2 — heypearlai · 2026-11-12
- ARC-AGI-3 榜单曝光:模型刷分可行但单任务成本高达数万美元 — haider1 · 2026-11-12
- LMArena 推出 Agent Arena,智能体竞技场上线 — arena · 2026-11-12
- LLM 为何答不好本地电网故障:超本地数据根本没被数字化 — csuwildcat · 2026-11-12
- Claude API 推出 per-message effort,中途调档不破坏提示缓存 — lyraxana · 2026-11-12
- rasbt 神总结 AI 场景三词:Hillclimbing、Benchmarking、Benchmaxxing — infoxiao · 2026-11-12