一致性评测揭差距：Kimi K3.1 Pro 3 次全对仅 45%，GPT-6 Astra 达 63%
ArtificialAnlys · x · 2026-11-07
Artificial Analysis 在 VIALS 评测中强调：任务「答对过一次」不等于稳定答对，一致性是前沿模型优势的关键。- Kimi K3.1 Pro 在 161 个任务中有 119 个至少答对一次，GPT-6 Astra 为 118 个，两者几乎打平；- 但要求三次尝试全部正确时差距拉开：Kimi 仅通过 73 个任务（45%），Astra 通过 101 个（63%）。结论：只看 best-of-N 成绩会高估模型稳定性，一致性指标更能区分前沿模型。
所属事件:Artificial Analysis 发布生命科学视觉推理榜 VIALS-AA(5 条相关)→
「模型」频道最新
- Meta 推出 Muse Wonder 专用模型:遗忘减少 2.4 倍,卡壳改善 67% — AIatMeta · 2026-11-07
- 165 个生成世界实测:局部交互 83 分,有状态流程仅 30 分 — nptacek · 2026-11-07
- 激活转向实验:单个神经元即可让 Qwen3-30B 换「人格」,约1%回复见效 — Sauers_ · 2026-11-07
- OpenAI 与 Anthropic 互相观望按兵不发，大模型发布陷入僵局 — kimmonismus · 2026-11-07
- Deep Learning Weekly #480:提「Gemini 4 Carbon」与模型路由论文 — dl_weekly · 2026-11-07
- PostTrainBench：AI 智能体后训练得分半年从 23% 升至 45% — karinanguyen · 2026-11-07