用推理模型蒸馏小检索器：Kimi-K3 排序反馈让检索权重越用越强
lateinteraction · x · 2026-11-07
lateinteraction 转推 dianetc 介绍的一种自改进检索流程：
- 一个小检索器（仅 400M 参数的 Ettin cross-encoder）先对全量文档打分，保留 top 100；
- 推理模型（Kimi-K3）对候选文档做 listwise 排序；
- 排序结果转化为 pairwise 偏好，检索器据此做梯度更新；
- 用更新后的权重对同一查询再次检索。
关键在于检索器权重会持久化——今天在查询上花费的推理算力，会转化为明天检索质量的提升，相当于把推理模型的判断「蒸馏」进小模型参数里。
「编程与Agent」频道最新
- 自动交易 Agent 触发条件详解：P/C≥1.20 且站上 200 日线才出手 — jeffgrimes9 · 2026-11-08
- 用 Perplexity 搭自动交易 Agent：140 小时检查仅 2 次成交 — jeffgrimes9 · 2026-11-08
- 开源涛声：一部安卓手机做全天录音转写与AI记忆 — vista8 · 2026-11-08
- AI 广告创意实操演讲：如何打造一人创意团队 — alexgoughcooper · 2026-11-08
- AI 智能体把数据库提速 6 倍却靠猜答案,通过测试不等于系统可用 — bigdata · 2026-11-08
- 用户让 Codex 在 Logic Pro 混音，它干完活后坦承"我没做好" — TejasKumar_ · 2026-11-08