FinFIRST 基准细节:123 个专家任务、701 条原子标准、1.23 万评分点
FellMentKE · x · 2026-09-04
作者补充 FinFIRST 金融搜索 Agent 基准的细节:该基准由蚂蚁集团联合中金公司投行团队专业支持打造,V1 版本包含 123 个专家撰写的任务、701 条原子评判标准和 12300 个评分细则点(rubric points),专门面向真实场景下的金融搜索 Agent 评测。作者强调发布主张与评测框架回答的是不同问题:前者给人可适配的模型,后者给研究者和建设者一套更细致的方法,去检验 Agent 在哪里成功、失败或需要更近距离审查。
所属事件:蚂蚁开源 Ling-3.0-flash-Fin 并发布 FinFIRST 金融评测基准(9 条相关)→
「模型」频道最新
- OpenRouter 数据：Opus 5.5 在 29 类任务中 20 类支出第一 — mmurph · 2026-10-21
- 小团队数月从零到百造出 LLM，称 Meta 开源将迎第二纪元 — TimDarcet · 2026-10-21
- Muse Glimmer-30B 配 DFlash drafter：分块 16 token 提速推理 — TimDarcet · 2026-10-21
- EvoPress 量化让 30B 模型从 56GB 压到 19GB，精度几乎不掉 — TimDarcet · 2026-10-21
- Muse Glimmer-30B 雷达图曝光：对标 Gemma4-31B 与 Qwen3.6-27B — TimDarcet · 2026-10-21
- 隐私评测 CIMemories：Muse Glimmer-30B 泄密率 26.4 优于 Qwen 的 53.4 — TimDarcet · 2026-10-21