无需改权重:TTT-Embed 测试时优化检索效果提升 8.36
_reachsumit · x · 2026-08-14
Google DeepMind 提出 TTT-Embed 框架,通过测试时优化(Test-Time Tuning)提升密集检索器的表现。
核心机制:
- 将重排器或 LLM 裁判的排序反馈,蒸馏成一个轻量级的向量。
- 将该向量直接添加到冻结的查询嵌入中,无需更新模型权重或修改索引。
关键优势:
- 适用于无法获取权重的闭源模型。
- 通过单一作用域参数控制反馈复用范围(全局、任务级或查询级)。
评测效果:
在 5 个嵌入模型和 15 个 MTEB 任务上测试,检索指标(nDCG@10)最高提升 8.36。且学习到的状态能有效泛化至未见过的查询和任务。
「研究」频道最新
- 12章7500行逐行注释教程,从零手写现代 GPT — tom_doerr · 2026-10-16
- 约翰·纳什 1998 年「层级内省逻辑」手稿再引 AI 圈热议 — fkasummer · 2026-10-16
- OpenAI 前可解释性负责人:绝大多数神经元已可读,可解释性是最重要科学问题 — CatAstro_Piyush · 2026-10-16
- AI 安全研究者自嘲:技术安全话题几乎都能在几十年前统计学里找到影子 — _onionesque · 2026-10-16
- JevAgentHarness 论文:4B 小模型替 LLM 做 Agent 决策,更省更准 — youjiaxuan · 2026-10-16
- Google 团队用序列拍卖构建去中心化 LLM 多智能体工作流 — _onionesque · 2026-10-16