Q2D-Web 技术细节:三套相关性标注降低假阴性
perplexity_ai · x · 2026-09-10
Perplexity 补充 Q2D-Web 基准的方法细节:基准结合 agent 引用、生产环境网页排名和 LLM 判定扩充三套相关性集合,以减少假阴性和对单一标注管线的依赖,并检验相关性定义本身如何影响模型表现。
语料构建上,每个 query 取生产环境 top 5000 检索结果,用 MinHash-LSH 去重;每篇文档都至少是某个 query 的合理匹配,并特意加入「主题相关但缺失关键日期/实体/版本」的高难度干扰文档。
所属事件:Perplexity 开源 Q2D-Web 检索基准(10 条相关)→
「研究」频道最新
- π0.5 实验：演示数从 10 增至 438，放球入碗成功率 7%→83% — stingning · 2026-10-27
- HandsOn 评测设计：Core-50 测执行，Transfer-16 测零演示迁移 — stingning · 2026-10-27
- HandsOn 基准成绩：最好策略仅 29.1%，工具使用成功率低至 2.9% — stingning · 2026-10-27
- 灵巧操作基准 HandsOn 发布:66 个人工核验任务配 1.8 万条人类示范 — stingning · 2026-10-27
- FrontierCS 2 登陆 Kaggle：48 项任务让智能体复现 13 领域论文贡献 — MeganRisdal · 2026-10-27
- LightMTP：轻量潜空间多 token 预测助 LLM 预训练学会提前规划 — gdm3000 · 2026-10-27