CoQuIR：代码质量检索基准
青稞AI · wechat · 2026-07-15
CoQuIR 是一个**代码质量感知**的大规模检索基准，目标不是只找“语义相关”的代码，而是优先检索更高质量的实现。作者指出，现有代码检索评测大多沿用自然语言检索标准，只看功能相关性，忽略了代码可能存在的 bug、低效实现、漏洞和过时 API，这会把技术债和安全风险一并带入下游生成。 基准覆盖 11 种编程语言、42,725 条查询和 134,907 段代码，并围绕四个质量维度构建样本：正确性、效率、安全性、可维护性。为衡量“质量偏好”，论文提出了两个新指标：PPA（成对偏好准确率）和 MRS（基于间隔的排序分）。作者评测了 23 个检索模型，发现多数模型在质量指标上甚至会跌破随机基线，说明传统相关性指标并不能反映“好坏代码”的判断能力。 论文还通过质量感知微调构建了 Repllama-3b-quality 和 Repllama-8b-quality，结果显示这些模型在 PPA/MRS 上可提升约 20%–30%，而传统 nDCG@10、MRR 基本不受损。下游实验中，配合质量感知检索器后，生成代码的漏洞率下降、过时 API 使用率也减少，说明“偏好高质量代码”可以有效改善 RAG for Code 的输出质量。