第三方测试:Liquid d1-ultra 以 77.1% 反超 Perplexity Decider v1.2 登顶

JosephJacks_ · x · 2026-10-21

Zeki Works 发布了覆盖 2198 道土耳其语阅读理解与语法题、共 25 个决策模型（decision model）的独立测试，挑战 Perplexity 官方 ClaimBench 榜单的结论。

关键结果

• Perplexity 官方宣称 pplx-decider-v1.2 是 ClaimBench 最高分决策模型（67.1%）；但在 Zeki Works 的同题测试中，未被 ClaimBench 收录的 Liquid d1-ultra 拿到 77.1%，领先 Decider v1.2 整整 10 个百分点。
• 没有模型在所有维度领先：d1-ultra 准确率与预估成本节省均第一；校准差距（calibration gap）最小的反而是最小的 Luna（Decisions API）。
• 阅读理解题决策模型最高可答对 92.1%，但语法题最高仅 70.7%，说明模型「知道规则」和「会应用规则」之间存在明显落差。

所有题目与答案公开，可自行复核。

原文链接 →

「模型」频道最新

• Ampersand 系统卡:Persimmon 将模型评测觉察降低 40 个百分点 — gharik · 2026-10-21
• 用户吐槽 Claude 新摩擦:「家长式」删敏感数据且拒不给理由 — mattbeane · 2026-10-21
• Beam 1.0 登顶 Vals AI 私有评测：美国开源模型第一，全球开源第14 — bigblueboo · 2026-10-21
• 上海 AI 实验室发布 35B MoE 智能体模型 Sage-A1.5，主打长程任务与科学探索 — InternScience · 2026-10-21
• theo 称 Astra 是年度最令人失望发布，网友力挺反驳 — bookwormengr · 2026-10-21
• 前微软高管盛赞神秘模型 Argon:数学强、后训练一流但上下文太小 — ivan_bezdomny · 2026-10-21

更多「模型」频道 AI 资讯 →