Cortex benchmark shows financial AI finds the right document 92-99% of time but ranks it first only 42-69%
Exp_Mark · x · 2026-10-28
作者在 micro1 Forum 与 micro1 的 Shaudi Mahdavi、Rogo 产品负责人 Sam Tibwal 对谈 Cortex 检索基准的发布，核心洞察：
- 多数金融 AI 评测只问「答案对不对」，很少问「模型是否从正确的文档出发推理」——Cortex 把这个缺口量化了。
- 数据显示：权威来源进入检索结果前 10 的比例高达 92-99%，但排在第一位的只有 42-69%——系统能找到正确文档，却「不知道它是对的」。
- 在金融领域这影响巨大：去年与今年的年报在搜索引擎看来几乎一样，但对分析师完全不可互换。出处（provenance）不是形式，而是论断本身的一部分。
Related event: Cortex Benchmark Exposes Financial AI Retrieval Gap(2 posts)→
More from Research
- NVIDIA open-sources Flora, a model suite that auto-labels robot videos for training GR00T — qinzytech · 2026-10-28
- Multimodal GraphRAG models missing and contradictory evidence for storm damage assessment — JeremyCMorgan · 2026-10-28
- SIMIT: VLMs self-improve at test time by imagining practice problems, +7.2% on 17 benchmarks — delliott · 2026-10-28
- Mistral sponsors Open Math OS with zero data retention, powering a Kimi K3/DeepSeek math platform — GuillaumeLample · 2026-10-28
- CROP wins EMNLP 2026 Outstanding Paper: conformal certification for reasoning trace prefixes — hanjie_chen · 2026-10-28
- OSU NLP Group Wins Three Paper Awards Same Day at EMNLP 2026 and NeurIPS Workshop — hhsun1 · 2026-10-28