斯坦福研究员炮轰模型排名不报不确定性：那是营销不是科学
StanfordAILab · x · 2026-10-29
Stanford AI Lab 转发研究员 Anka Reuel 的批评：AI 评测分数会因不同 run、不同 scaffold 而大幅波动，厂商在没有不确定性估计的情况下宣称「优于竞品」是荒谬的营销而非科学，并点名 Anthropic、OpenAI、Meta 同样如此。背景是 Google 官方宣布 Gemini 4 Carbon，称其在 cyber、长程任务上 SOTA、登顶 Artificial Analysis V5 榜单。
「模型」频道最新
- Qwen4 系列即将发布，CTO 称就在下周 — scaling01 · 2026-10-29
- 27B 开源模型 Hemmingway-1.5 通过 AI 检测器率超真人 — jacek2023 · 2026-10-29
- MaD Physics 基准：改写物理法则考 AI，GPT-6 Astra 唯一识破异世界 — weballergy · 2026-10-29
- GPU unlock 对多数人无用:量化模型与游戏零提升,bf16 装满显存才受益 — Justify_87 · 2026-10-29
- 开发者用 Opus 5.5 做生物创建器：头手效果惊艳，身体仍待迭代 — repligate · 2026-10-29
- Ultramarine 发布 1 Flash 开放权重,提出开放权重经济学论 — samsja19 · 2026-10-29