ValsAI 发布 ClaimBench:1960 条财务声明实测 15 款决策模型
denisyarats · x · 2026-10-21
ValsAI 发布针对决策模型的新基准 ClaimBench,测试模型能否判断财务文档对某条声明是支持、矛盾还是未涉及。
- 共评测 15 个模型，基于 1960 条声明配对 10-K 财报摘录。
- 决策模型中 Decider V1.2 领跑；Pareto 前沿上还有 Mercury Decide、d1、Decider Flash V1.2(成本最低、约 96.8% 准确率)，通用模型如 Claude Haiku 5.5、Claude Opus 5.5、GPT-6.1 Sol 等作为对比。
- 基准展示了准确率与每条声明成本(log 刻度，从 $0.0001 到 $0.1)的权衡曲线。
「模型」频道最新
- litellm 代码曝光 Anthropic Fable 5.5，爆料称 10 月 27 日发布 — imjustnewatai · 2026-10-21
- 实测发现 4-bit 以下开源模型自迭代生成 3D 资产很吃力 — mervenoyann · 2026-10-21
- 研究者用前沿模型 76 分钟挖出首个 Windows 0-day — moyix · 2026-10-21
- 开发者实测:Gemini Argon 分析调试日志优于 Fable 5.1 — ShikharMurty · 2026-10-21
- 用户让 ChatGPT「尖叫」，它陷入无限循环 AAAAHHH 停不下来 — AutomaticScene · 2026-10-21
- 开源新模型 Ornith-1.5-122B 发布:SWE-bench 84.5%,单卡 DGX 可跑 — _akhaliq · 2026-10-21