TREC 2026 RAG 赛道开启:采用全新 ClimbMix 语料库
lintool · x · 2026-08-06
TREC 2026 检索增强生成(RAG)赛道已正式开放,并在今年转向"Agent 优先"的评估模式。今年的评测引入了由 Nvidia 提供的全新语料库 ClimbMix-400b,取代了以往常用的 MS MARCO v2.1。
参赛者可通过 Pyserini REST API 访问新语料库,并参与检索(Retrieval)或检索增强生成(RAG)任务。此外,官方还发布了 RAGDoll 评估工具包,支持从生成评估工件到 LLM 响应评分的端到端工作流。今年的提交截止日期为 8 月 8 日。
「研究」频道最新
- Goodfire 推出 MAPS:可解释 210 万个基因变异的机制图谱 — mathildepapillo · 2026-08-06
- Flow Map Learning 新理论:解释流模型中 stop-gradient 的有效性 — kwangmoo_yi · 2026-08-06
- 复旦研究警示:AI 模型已具备类似蠕虫病毒的自主复制能力 — willknight · 2026-08-06
- 主流大模型谄媚行为评测:谁爱附和、谁能独立判断? — zero0_one1 · 2026-08-06
- 大模型“学坏”后更易失控,安全护栏泛化不足 — nptacek · 2026-08-06
- GEPA 优化算法提速 4 倍,并行评估反促泛化提升 — dbreunig · 2026-08-06