以往上下文嵌入训练假设单一金标 chunk，把支持性上下文误当负样本
antoine_chaffin · x · 2026-11-03
antoinechaffin 指出此前上下文化嵌入模型的核心训练缺陷：假设每个查询只有一个「金标 chunk」，其余全部当作负样本。
但支持性上下文并非干扰项——定义实体、解析指代、给出关键条件的 chunk 可能是理解答案所必需的，把它们当负例会损害训练信号。
所属事件:新方法蒸馏分级 chunk 相关度，改进上下文嵌入训练(2 条相关)→
「研究」频道最新
- 又现"私有亚二次方注意力"项目,质疑者:Transformer 加几个权重就够了 — teortaxesTex · 2026-11-03
- GPT-6 直改 0.8B 模型权重提分 6 倍？挖细节后「魔法感」大打折扣 — teortaxesTex · 2026-11-03
- OSVerify 两次揪出 GPT-6-Pro 与 Codex 都漏掉的证明致命错误 — james_y_zou · 2026-11-03
- 斯坦福 NUS 耳机研究实时放大环境声中被忽略的细节 — HanGuo97 · 2026-11-03
- 三个 LLM 同玩一间密室逃脱:作者分享多智能体言行分离的记录方法 — ViceGodIm · 2026-11-03
- 只给一句「想象一下」，Qwen3-VL 内部状态无需训练即可驱动 Qwen-Image 出图 — zacharynado · 2026-11-03