Astra 在 37 项基准中 10 项达 98%,时间 horizon 估算逼近饱和
dswg97 · x · 2026-09-09
作者介绍其时间 horizon(TH)估算方法:注入 0% 成功率的合成长时程(>2 小时)任务,再筛选成功率方差显著的 bootstrap 样本,以得到更合理的 TH 估计。
关键警示:Astra 已接近在其评测套件上饱和——37 项基准中有 10 项达到 ≥98%,而 GPT-5.5 仅饱和 4/37,因此对 Astra 给出可信的时间 horizon 估计已很困难。
所属事件:Astra在10项基准得分超98%,评测逼近饱和(2 条相关)→
「模型」频道最新
- 用户实测 GrokBot:订机票、网购全被拦,几乎办不成事 — lucasmeijer · 2026-10-26
- 售卖机基准新观察:Sol 5.6 被指最激进、最常违约 — xuanalogue · 2026-10-26
- 爆料称 Fable 5.5 每周将发,博主泼冷水:本月无前沿新模型 — patience_cave · 2026-10-26
- 实测 abliterated 去审查模型翻车:模型反而关心起我的心理健康 — ryunuck · 2026-10-26
- OpenAI Decisions API 升级:单次可处理 400 个问题并新增语音与图像能力 — OpenAIDevs · 2026-10-26
- 中国首个前沿AI安全独立评测实验室「方寸跃迁」成立并首发DeepSeek评测 — JacquesThibs · 2026-10-26