FinFIRST 金融 Agent 基准:考核检索、证据选择与计算全流程
alifcoder · x · 2026-09-05
金融研究者与专家合作构建的 FinFIRST 基准,专门测试 agent 在真实金融研究中的能力,而非只看最终答案。
评测采用原子化 rubric,同时打分答案与证据质量,覆盖:
- 源头发现与信息检索
- 证据选择与可靠性判断
- 跨源信息整合
- 计算与时效性任务处理
- 结果可验证性
作者认为这是首个贴合真实金融工作流程的 agent 评测设计,发布后已引起较多关注。
所属事件:FinFIRST 基准上线，原子化细则全链路评测金融 Agent(2 条相关)→
「研究」频道最新
- 日本 Moonshot IoB 脑机接口项目公开五年研究成果海报 — kaixhin · 2026-10-23
- 指标口径变更会骗过 Agent：开发者提出专属 eval 设计思路 — jylusdev · 2026-10-23
- ruff 作者发问：AI 芯片设计从 RISC-V 扩到 x86 有多难 — charliermarsh · 2026-10-23
- Transformer 联合建模电子与磁性，能量误差仅 0.01% — bravo_abad · 2026-10-23
- Google Cloud AI 发布 PLE 基准：所有前沿模型真实工程任务得分不足 50% — sainingxie · 2026-10-23
- AI×Bio 48小时爆发：OpenAI 收购 Orchestra Bio 等 16 条动态 — vaibhavbetter · 2026-10-23