Qonto 开源 FAQ 检索新基准:更贴近真实产品问答场景
espadrine · reddit · 2026-09-22
Qonto 团队认为现有检索基准已被模型刷到失真(benchmaxxed),于是围绕自身目标——找出能准确回答产品问题的文章——构建了 QontoFAQ 基准。
他们设计了一个与文档相关性更成比例的新评估指标,并搭建了用于测量 embedding 模型的数据集。方法说明发布在 Medium 文章,代码已开源在 GitHub(qonto/qonto-faq-benchmark),适合做检索系统选型的开发者参考。
「研究」频道最新
- srush 推荐共形预测入门:免分布不确定性量化经典教程 — srush_nlp · 2026-09-22
- 可穿戴Readiness评分缺证据,389名球手研究仅差0.5杆 — EricTopol · 2026-09-22
- Agent Memory Challenge 2026 第二期开启：2.2 万美元奖金池测长期记忆 — omarsar0 · 2026-09-22
- srush 推荐:保形预测与免分布不确定性量化的友好入门 — srush_nlp · 2026-09-22
- ASO 对比 siRNA:两类 RNA 疗法已拿下超 20 项 FDA 批准 — EricTopol · 2026-09-22
- Cellular Intelligence 打造细胞信号传导基础模型，LeCun 等加入科学顾问委员会 — anshulkundaje · 2026-09-22