antirez:LLM 评测已失灵,需要 AI 实验室联合资助的第三方基准
antirez · x · 2026-11-19
Redis 作者、资深程序员 antirez 发推批评当前 LLM 基准测试生态已「坏掉」。他认为问题的根源在于缺乏可信的第三方评测机构,并提出解决方案:应由各大 AI 实验室联合资助(而非 VC 资助)的中立第三方来运行基准,且主要做模型之间在任务上互相竞争的评测。
这是一条有观点的行业批评,触及了「厂商自测成绩不可信」这一被广泛讨论但少有人行动的问题。
「模型」频道最新
- 重度实测:Astra 6.2 High 比 6.0 略差,答对还慢一倍 — IridiumEagle · 2026-11-19
- 用户实测:重度测试下 100 美元档 Astra 6.2 额度仍用不完 — prd_008 · 2026-11-19
- Gemini 4 Carbon 独立破译 1466 年斯福尔扎密码手稿 — fofrAI · 2026-11-19
- Gemini「Hydrogen」选项被曝实为内部代号,底层路由到 3.1 Pro — Neestor00 · 2026-11-19
- Fable 5.2 与 GPT-6.2 Astra 生成 PS1 游戏对比:108M token 对 24M,成本差 3 倍 — heypearlai · 2026-11-19
- 同一游戏 Prompt 实测:Astra 花 17 美元 vs Fable 花 65 美元 — heypearlai · 2026-11-19