15 题子集可替代 830 题全量评测 deep-research agent,成本不到 2%
asankhs · reddit · 2026-10-18
作者为避免每次跑 BrowseComp-Plus 全量 830 题的高昂开销，构建了 15 题子集 browsecomp-plus-mini，用于低成本对比搜索/深度研究 agent。
关键数据：
- 与全量基准的加权 Spearman 排名一致性达 0.88（随机 15 题仅 0.75）
- 在全量基准上相差 10 分以上的两次运行，子集保持排序的概率约 96%；相差 5-10 分时约 75%
- 答案均为 1-4 个词，用归一化精确匹配评分，无需 LLM judge
- 成本不到全量评测的 2%
数据集已发布在 Hugging Face（LocalLLaMA/browsecomp-plus-mini）。
「编程与Agent」频道最新
- DavidKPiano 吐槽:喜欢 Claude Code 会停下来向我提问 — DavidKPiano · 2026-10-18
- 开发者推出 Pantheon:18 套希腊神话主题皮肤一键装进 Hermes Desktop — Teknium · 2026-10-18
- 用 Hermes Agent + OpenVoice 把英语电影本地配音成波兰语,16GB Mac mini 就能跑 — NousResearch · 2026-10-18
- 长对话被摘要压缩后 AI 频繁失忆，开发者造出记忆 MCP — Jolly-Scientist-2484 · 2026-10-18
- Stripe Link 钱包 v0.27.5 发布：agent 支付不再限于一次性电商购买 — jeff_weinstein · 2026-10-18
- 开发者称前沿模型已够强,自建编辑器引擎全面优化性能 — almmaasoglu · 2026-10-18