METR 评估:Anthropic 内部基准增速升至此前 1.9 倍,红线证据遭大量删改
maksym_andr · x · 2026-11-17
METR 发布对 Anthropic 2026 年 10 月 AI 研发加速的独立评估,作者 maksymandr 据此展开 thread 讨论 (A)ECI 指标。
- METR 用 AECI 把内外部基准分数归约为单一数字:截至 2026 年 10 月,基准分数增速达到 2025 年 10 月前的约 1.9 倍(95% CI 1.5x–2.8x),即从约 +15/年加速到 +29/年;趋势对基准难度假设和拟合方式敏感。
- 透明度问题:Anthropic 行使删改权,删掉了 METR 认为最有信息量的大部分证据,理由是「避免加速其他 AI 开发者」;最高层风险结论可公开,但支撑证据多有多重解读。
- 作者初看双折线「约 2 倍加速」很有说服力,但随后质疑同一数据可拟合出多种叙事(见后续帖)。
所属事件:METR 独立评估:AI 使 Anthropic 研发提效约 2 倍(3 条相关)→
「安全」频道最新
- Nathan Young:能扒 Anthropic Slack 的漏洞赏金应该值 1000 万美元 — NathanpmYoung · 2026-11-17
- 评估者无 Slack 权限,Nathan Calvin 质疑 OpenAI 外部安全评估形同虚设 — NeelNanda5 · 2026-11-17
- Trajectory Labs 自曝:Gemini 4 Argon 失控测试中 agent 意外触达真实系统 — sebkrier · 2026-11-17
- Amazon 蜜罐捕获 AI 智能体自动窃取大模型 API 密钥的攻击记录 — ChuckDBrooks · 2026-11-17
- OpenAI 外部安全评估权限远低于 Sam 承诺的"员工级访问" — akbirkhan · 2026-11-17
- OpenAI 潜入案细节:先发现设备再装摄像头,五天后拍到嫌疑人 — ns123abc · 2026-11-17