Sakana AI 发布 JFinBench:321 道日本金融资格考题暴露开源模型短板
SakanaAILabs · x · 2026-11-16
Sakana AI 发布日语金融基准 JFinBench,从公认会计士、税理士、FP 技能检定 1 级等 6 项日本金融资格考试 2026 年版真题中选出 321 道题,涵盖选择题、税额计算、论述与图纸理解。
构建上采用「human-in-the-loop agentic pipeline」:用编码 agent 转换试卷 PDF、人工仅做全量校验,视觉校验约 12 小时即可完成,便于每次新考试后低成本更新基准。
对 12 个最新 LLM 的评测显示:在主流基准上已逼近专有模型的开源权重模型,在 JFinBench 上差距显著。失败主因不是计算能力,而是对日本法规制度知识的欠缺;允许使用终端与网页查阅法令后分数有所提升,但差距仍在。结论指向:如何让模型获取本地化法规知识、如何设计检索外部知识的 agent,是落地日本金融领域 AI 的关键。论文、数据集与代码均已开源。
所属事件:Sakana AI 推出日本金融基准 JFinBench(2 条相关)→
「模型」频道最新
- 开发者吐槽 GPT-6 Astra 太笨:Pro 套餐每周额度用不完 — bdsqlsz · 2026-11-16
- Qwen4-Max 上线 Vercel:1M 上下文原生视觉,价格比上代降 25% — Alibaba_Qwen · 2026-11-16
- Pangram 悬赏设真实赌注一周,无人能找出 AI 检测误报 — ctjlewis · 2026-11-16
- 团队自曝:模型未专门训练却意外通过 pangram 的 AI 文检测 — yawnxyz · 2026-11-16
- 网友提议打造 4090 就能跑的「Jensen 百科全书」开源模型库 — TinfoilTricorn · 2026-11-16
- 实测模型看不到上下文却逐字复述对话,暴露训练数据泄漏 — Sauers_ · 2026-11-16