Brendan Foody:Astra 企业评测登顶但学术基准落后,预言脱离刷分潮
danintheory · x · 2026-09-05
Merit 创始人 Brendan Foody(Bfaviero 系?实为 Brendan Foody)表示,Astra 在他们几乎所有的企业内部评测中名列前茅,但在 Artificial Analysis 等学术基准上表现落后。
他判断:Astra 将是第一个摆脱「学术评测短视」的模型,之后会有更多模型跟进——即真实企业任务表现与学术排行榜正在脱钩。
「模型」频道最新
- 爆料称 GPT 6 Astra 一条提示词完美复刻《宝可梦》 — IanArawjo · 2026-09-05
- GPT-6 Astra 推出实验性压缩机制:跨上下文窗口存笔记可检索 — TheMoonMidas · 2026-09-05
- 「不知道 OpenAI 施了什么黑魔法」:Astra 快到能同时跑 4 个 agent — charliermarsh · 2026-09-05
- GPT-6 Astra 登 Vals Index 第三名,速度达 Fable 5.1 的两倍 — sherwinwu · 2026-09-05
- 模型行为终可解释?interp 工具加 agent 让黑箱问题有完整答案 — burny_tech · 2026-09-05
- 实测 GPT-6 Astra 弱项:编程笑话几乎全平庸,仅一个疑似原创 — paraschopra · 2026-09-05