Ox Alpha 实测遇尴尬：551 次 API 调用才完成 87 题
anshulkundaje · x · 2026-08-23
@sbatzoglou 通过 OpenRouter 实测了 Ox Alpha 在 induction 基准（ICML 2026 spotlight 论文《INDUCTION: Finite-Structure Concept Synthesis in First-Order Logic》）上的表现：
- 成绩中等：排在 Luna 和 DeepSeek v4 Pro 之下，略高于 Gemini 3.7 Flash。作者强调 X 上其他基准里 Ox Alpha 表现很强，结果可能高度依赖基准类型。
- 稳定性存疑：模型频繁返回空字符串或 API 报错，共打了 551 次 API 调用才拿到 87/100 的完成率。作者不确定是 OpenRouter 的问题，还是推理模型解不出题时不返回答案的通病在此更加明显。
基准数据与评估代码开源在 GitHub 仓库 concept-synth 中（arXiv:2602.18843）。
「模型」频道最新
- OpenAI 发布 GPT-Live-1.1:ChatGPT 语音更新增 6 种语言新音色 — AndrewSchmidtFC · 2026-10-16
- GPT-4o API 将于 1 月 14 日彻底关停,权重不开放引社区众怒 — mimi10v3 · 2026-10-16
- Gemini 4 Argon 上线 Antigravity,Pro 订阅独享独立周配额 — rseroter · 2026-10-16
- 博主称 Opus 5.5 性价比高到可能不再所有任务用旗舰模型 — adonis_singh · 2026-10-16
- 马斯克称 Grok Bot 增长史无前例:无免费层却仍高速增长 — elonmusk · 2026-10-16
- Peter Yang:Opus 5.5 很强,但仍难坚持己见扛住反驳 — petergyang · 2026-10-16