Artificial Analysis 没被收买：自费 1.3 万美元实测各家模型
Antblue · reddit · 2026-09-11
针对近期「Artificial Analysis 已失效/被收买」的抱怨，作者逐点反驳：其智能指数是 10 项评测的加权聚合，多数评测有 arXiv 论文，仅 AA-Briefcase 为私有基准，聚合权重方法论完全公开。AA 自费独立跑分、不接广告，仅测试 Fable 5.1 就花了 13,129 美元，每个新模型都会测。
以 Deepseek V4.1-Flash 为例说明为什么只看总分 misses the big picture：这个 552B 模型总分(40)与 180B 的 Qwen 3.8-Flash-Next 相同，但分项显示它多数评测持平或反超，在 AutomationBench-AA(Agent SaaS 工作流)上甚至打败 GPT-6 Astra (Max),却在开源模型通常占优的 AA-Omniscience 非幻觉率上明显落后。模型有强有弱，这值得庆祝而非抱怨。
作者建议：先看分项评测、读评测论文、搞懂聚合方式，再来讨论。作者声明与 AA 无任何关联。
「模型」频道最新
- GPT-6.1 Terra 控制真机器人胜过 Opus 5.5,较三月前提升 3.7 倍 — ycombinator · 2026-10-28
- Kimi 发布 K3.1 Pro：3T 级开源权重模型，100 万上下文幻觉降 65% — NVIDIAAI · 2026-10-28
- OpenSIR 自博弈框架：LLM 无需训练数据自学数学推理 — PMinervini · 2026-10-28
- Claude Opus 5.5 从二进制重建 SQLite 等程序,ProgramBench 得分 18.5% — winer666 · 2026-10-28
- Codex 后台任务一夜烧光 500 美元周额度外加 75000 credits — sethlazar · 2026-10-28
- 用 $TAO 两分钟上手开源模型：Bittensor 侧链 SN53 实测体验 — markjeffrey · 2026-10-28