现有评测饱和失真,网友呼吁建真实环境搜索与事实检索基准
Lucky_Creme_5208 · reddit · 2026-09-26
一位 Reddit 用户指出,主流 benchmark 大多已饱和或测试条件过于受限,例如 AA Omniscience 限制了工具访问,而现实中大量用户恰恰把聊天模型用于信息检索、深度研究和广泛信息收集。
- 已有少量检索类 benchmark(如图片中列出的),但都没有官方 leaderboard,且多年未更新
- 作者呼吁建立「真实环境」评测:允许联网搜索、开放工具访问、并在真实 harness(如 Claude、ChatGPT 等)下运行,不加人为限制
- 征集是否已有符合此标准的基准存在
帖子反映社区对「实验室成绩与真实信息检索能力脱节」的普遍不满。
所属事件:评测基准饱和失真，社区呼吁建真实搜索评测(2 条相关)→
「研究」频道最新
- UniPath 被 NeurIPS 2026 接收：单模型自适应协调理解与生成 — jindong_wang92 · 2026-11-11
- Scale AI 1200+ 次训练对比 PPO 与 GRPO:小 batch 用 critic,大 batch 可省掉 — heghbalz · 2026-11-11
- 开源进程推进个性化胰腺癌疫苗:34 岁患者数据全公开征集专家意见 — jajoosam · 2026-11-11
- Ross Girshick 发布 CVPR 演讲幻灯片:复盘十五年目标检测史并衔接 LLM — CatAstro_Piyush · 2026-11-11
- KAIST 发现记忆会让 Agent 翻车，WikiTrace 用证据链接降 10.7 分差距 — dair_ai · 2026-11-11
- UHN 团队发布 DynaMELD，用机器学习公平排序肝移植等待名单 — VectorInst · 2026-11-11