MULTIFINVG benchmark:语言模型能识别金融概念却难提取完整证据
TheFinAI · hf · 2026-10-20
The Fin AI 联合曼彻斯特大学、佐治亚理工等机构发布 MULTIFINGROUND 多语言基准,研究论文《Recognition Is Not Grounding》指出:语言模型虽然能跨语言识别财务概念,却经常无法完整恢复对应的数值证据。
- 任务设定:跨语言财报对比需要找到表达同一会计概念的所有数值事实,而这些数值可能以不同术语、不同表格结构、不同报告期出现。
- 典型失败案例:法国报告给出当年营收 2.8 亿欧元、上年 2.5 亿欧元,模型能识别营收概念却只取当年数值,遗漏计算增长率所需的上年数据。
- 结论:现有基准只评估部分能力,「识别」不等于「落地(grounding)」,多语言财务证据抽取仍是明显短板。
「多模态」频道最新
- AI 音乐视频《Mike from Jersey》展示卡通三明治店场景 — Ass_Blast69 · 2026-10-20
- Nutrient 推出文档决策模型：200 毫秒出答案还带校准置信度 — TheZachMueller · 2026-10-20
- TerraVis 评测框架入选 NeurIPS 2026：专查生成图片的物理世界一致性 — jiqizhixin · 2026-10-20
- 实测 MOSS 模型局部重绘惊艳，作者放出 Civitai 工作流 — Clasyc · 2026-10-20
- iPhone 动作按钮一键出片:Grok 语音+HeyGen MCP 生成数字人视频 — HeyGen · 2026-10-20
- AI 生成特斯拉 Roadster 街拍视频，以假乱真引发热议 — Tiny-Meet5202 · 2026-10-20