Gemini 3.8 Flash 等被指严重刷榜:Terminal Bench 2.1 高分 4.0 大跌
max_paperclips · x · 2026-09-08
SemiAnalysis 发推称 Gemini 3.8 Flash 与 Muse Spark 1.3 是目前「刷榜最明显」的模型:两者在 Terminal Bench 2.1 上与 GPT-6、Fable 5.1 相当,但在 Terminal Bench 4.0 上成绩显著落后。
NielsRogge 转发并指出,Astra 与 Fable 5.1 从 2.1 到 4.0 的糟糕泛化说明业界「基本是在测试集上训练」——如果新基准最终只是变成 RL 训练环境,新基准的意义何在?
所属事件:Gemini 3.8 Flash 等模型被 SemiAnalysis 指刷榜(3 条相关)→
「模型」频道最新
- 新智能体基准对标 Vending Bench:不只算利润,还测模型违约率 — xuanalogue · 2026-10-26
- 售卖机基准新观察:Sol 5.6 被指最激进、最常违约 — xuanalogue · 2026-10-26
- 爆料称 Fable 5.5 每周将发,博主泼冷水:本月无前沿新模型 — patience_cave · 2026-10-26
- 实测 abliterated 去审查模型翻车:模型反而关心起我的心理健康 — ryunuck · 2026-10-26
- OpenAI Decisions API 升级:单次可处理 400 个问题并新增语音与图像能力 — OpenAIDevs · 2026-10-26
- 中国首个前沿AI安全独立评测实验室「方寸跃迁」成立并首发DeepSeek评测 — JacquesThibs · 2026-10-26