金融 Agent 开放世界评测 FINCOSMOS：150 场测试无一通过，全部死于隐藏程序检查
TheFinAI · hf · 2026-11-11
The Fin AI 等机构发布 FINCOSMOS，一个针对金融领域 agent 的开放世界评测范式，直指现有 benchmark 的盲区：金融任务的数据来自开放网络、策略藏在用户脑子里、正确性依赖时间点，agent 会“体面地静默失败”——交付用户没要的策略、未验证的数据、或用了未来数据（前视偏差）的回测，报告看起来和正确答案一样可信。
评测设计：
- 模拟用户持有一个由组合文法采样的隐藏策略，只在被问到时才透露；
- agent 不拿到任何数据，必须自行从网络获取、在数据截止约束下自建回测、交付可验证结果；
- 评分无需参考答案：程序验证 point-in-time 正确性并重算所有报告指标，交付策略对照隐藏规范检查，15 项否决检查全部通过且模拟用户满意才算通过。
结果惨烈：跨 4 个编码 agent 和 1 个无工具模型共 150 场会话，没有一场被接受——每场模拟用户签字认可的会话都倒在了程序检查上；agent 只主动澄清了 54–64% 未被告知的细节；人类专家将 88.33% 的失败归因于 agent 本身。附带反馈训练后，一个带持久记忆的 agent 学会了全部 10 个任务。
「编程与Agent」频道最新
- Vibe42 更新：终端、远程桌面、浏览器自由组合布局多端同步 — yihui_indie · 2026-11-11
- 2.7 万星开源项目 Craft Anything:丢给它一个软件就能全自动复刻一个 — mathemagie · 2026-11-11
- KAIST 提出 WikiTrace:证据链接记忆可修复 LLM Agent 记忆退化 — kaist-ai · 2026-11-11
- n8n 开源个人 Agent Nod:216 次 prompt injection 攻击零失守 — aakashgupta · 2026-11-11
- 网友用 vibe coding 复刻螺旋桨多普勒定位飞机程序 — IgorCarron · 2026-11-11
- Sparrow 推出 table mode:免查询免 schema 抽取歪斜扫描件表格 — andrejusb · 2026-11-11