NHNM 方法:把正样本变自然难负例,7K 数据训出媲美大模型的检索器
_reachsumit · x · 2026-10-29
arXiv 论文提出 Natural Hard-Negative Mining(NHNM),面向指令跟随信息检索(IFIR)的训练数据稀缺问题。核心思路:不再固定正例去合成额外负例,而是通过新指令把可转换的负例提升为查询兼容样本,并把原始正例重新用作天然指令难负例;配套 Candidate Cleaning、Reversal Construction、Geometry Filtering 的自动化流水线,产出与预训练检索空间对齐的高对比度监督数据。
- 在 MSMARCO 上构建出约 7K 实例的 IFIR 训练集 NHNM-MARCO
- 568M 到 4B 参数的模型微调后,在 InstructIR 和 FollowIR 上取得强劲的指令跟随表现,多个设定下持平或超过大得多的检索器
- 消融分析表明增益来自天然难负例监督本身,而非模型规模或数据量
「研究」频道最新
- 结合蛋白设计只解释约 3% 临床失败，AlphaFold 类模型被高估？ — clarejtbirch · 2026-10-29
- Byte H-Net 代码任务显示 2.24 倍计算效率，OpenAI 研究员提醒规模 caveat — willdepue · 2026-10-29
- 467页图解《心理学与神经科学原理》上线,可配 AI 导师阅读 — burkov · 2026-10-29
- 新工作论文：AI 可依据预注册文件预测经济学处理效应 — birchlse · 2026-10-29
- kalomaze：固定尺寸 UTF-8 线性投影基线够用，BPE 只是惯性特权 — kalomaze · 2026-10-29
- ProgramLab 发布：1261 个真实程序作智能体训练场，可单练也可组队 — jyangballin · 2026-10-29