Anthropic 报告的能力指标是什么？其实是 Bradley-Terry 模型拟合参数
wfithian · x · 2026-11-06
wfithian 解读 Anthropic 报告中的能力度量：它类似 Epoch 的 Capabilities Index (ECI)，Anthropic 版本称 AECI。
- 本质是 Item Response Theory 中 Bradley-Terry 类模型拟合出的参数：ECI 增加一个单位，对应成功完成任务的 log-odds 增加，与棋手 Elo 等级的解释类似
- 属于「有理论负载」的指标，但不算离谱
- 不确定若无额外 AI 帮助该指标是否仍线性增长（报告或有论证），但据其印象，各家模型的 ECI 实证上已持续线性增长一段时间
「研究」频道最新
- Fig 发布 RealCUA：600 小时真实开放式工作的计算机使用数据集 — vsikka · 2026-11-06
- RSI Arena：10 个 AI agent 自主训练模型，8 个经人类反馈后提升 — my_cat_can_code · 2026-11-06
- Muon 优化器后训练开销实测：SFT 场景 FLOPs 最多增加 54% — kastnerkyle · 2026-11-06
- Ethan Mollick 呼吁：用现有 AI 做国家级普惠项目，别等超级智能 — emollick · 2026-11-06
- UCSD 传奇学者 Fan Chung 科研指南：失败是常态，热爱是前提 — tianyin_xu · 2026-11-06
- 想象中训练机器人策略：7.9 倍更少仿真数据匹敌 PPO — EpisodeYang · 2026-11-06