chunk 级 KL 损失加文档级对比损失，训练答案与上下文双感知嵌入
antoine_chaffin · x · 2026-11-03
Thread 后续解释训练目标：将 chunk 级 KL 损失与文档级对比损失结合，文档级用 max-pooled chunk scores。这样 9B 模型同时学到两件事——哪些 chunk 包含答案或支持证据，以及在干扰文档中哪份文档才是相关的。
所属事件:Perplexity 开源上下文嵌入模型，9B 刷新检索 SOTA(5 条相关)→
「研究」频道最新
- LocalFold 更新:浏览器内直接跑蛋白质结构预测,支持 BioEmu2 等新模型 — CatAstro_Piyush · 2026-11-03
- kalomaze 猜想：深度序列模型可模拟低秩注意力 LoRA 训练行为 — kalomaze · 2026-11-03
- Zyphra 提出树形索引稀疏注意力 ZHA, attention 复杂度降至亚二次 — yacineMTB · 2026-11-03
- kalomaze：上下文学习只是 NTP 副产物，尚无人刻意蒸馏训练步 — kalomaze · 2026-11-03
- RSNA 2026 深度学习实验室:手把手微调医学影像 VLM 全流程 — PRouzrokh · 2026-11-03
- RSNA 2026 深度学习实验室:手把手微调医学影像 VLM 全流程 — PRouzrokh · 2026-11-03