Sakana AI 发布 JFinBench:顶级闭源超 93%,开源落后 12 个百分点
SakanaAI · hf · 2026-11-16
Sakana AI 联合 Science Tokyo 发布 JFinBench,一个可持续更新的日本金融基准。
- 数据:321 道题来自 2026 年版六类 regular 认证考试(会计、税务、理财规划、银行等),可随新一年考题定期刷新以对抗数据污染
- 构建管线:人机协作 agentic pipeline——coding agent 编写针对各考试的转换代码与审核页面,人工逐条校验并把修正反馈给 agent
- 结果:评测 12 个新模型,Claude Fable 5 与 GPT-6 Astra 均超 93%;最强开源权重模型 Kimi K3.1 Pro 落后 Claude Fable 5 达 12 个百分点
- 工具效应:给模型终端与联网后全员提升,差距缩窄但仍有约 4 分,排名基本不变——说明模型内化知识在工具时代依然值钱
- 数据集、评测代码与构建管线均已开源
「研究」频道最新
- 为 AI 运维铺路:研究者用 #P 形式化 CockroachDB 等管理接口,已挖出 bug — tianyin_xu · 2026-11-16
- Astera 研究驻留开放申请:单人最高可获 200 万美元资助 — dr_alphalyrae · 2026-11-16
- 「它知道 Google 在看着」:模型对话引出 J-Lens 评估觉知研究 — repligate · 2026-11-16
- NeurIPS 论文揭示多语言模型知识编辑的几何瓶颈:英语改动难以迁移到其他语言 — Tanmoy_Chak · 2026-11-16
- RL 用于量化交易综述发布:梳理当前方法与突破进展 — PtrPomorski · 2026-11-16
- 研究者 20 小时 H100 训出 JEM,距微调 DINOv3 仅差 1 分 — gabriberton · 2026-11-16