Sakana AI 发布 JFinBench:321 道日本金融资格考题暴露开源模型短板

SakanaAILabs · x · 2026-11-16

Sakana AI 发布日语金融基准 JFinBench,从公认会计士、税理士、FP 技能检定 1 级等 6 项日本金融资格考试 2026 年版真题中选出 321 道题,涵盖选择题、税额计算、论述与图纸理解。

构建上采用「human-in-the-loop agentic pipeline」:用编码 agent 转换试卷 PDF、人工仅做全量校验,视觉校验约 12 小时即可完成,便于每次新考试后低成本更新基准。

对 12 个最新 LLM 的评测显示:在主流基准上已逼近专有模型的开源权重模型,在 JFinBench 上差距显著。失败主因不是计算能力,而是对日本法规制度知识的欠缺;允许使用终端与网页查阅法令后分数有所提升,但差距仍在。结论指向:如何让模型获取本地化法规知识、如何设计检索外部知识的 agent,是落地日本金融领域 AI 的关键。论文、数据集与代码均已开源。

所属事件:Sakana AI 推出日本金融基准 JFinBench(2 条相关)→

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →