9B 教师模型蒸馏出 0.6B 嵌入模型，共享嵌入空间可交叉查询
antoine_chaffin · x · 2026-11-03
antoinechaffin 继续 Thread：先用数据扩展训练出强大的 9B 教师模型，再用与 late-interaction 模型相同的表征级蒸馏方法，将其蒸馏为 0.6B 小模型。
由于小模型与 9B 共享同一嵌入空间，可实现跨模型查询：用 9B 建索引、用 0.6B 做查询，兼顾质量与服务成本。0.6B 本身在基准上也表现很强。
所属事件:Perplexity 开源上下文嵌入模型，9B 刷新检索 SOTA(5 条相关)→
「模型」频道最新
- GPT-6 直改 0.8B 模型权重提分 6 倍？挖细节后「魔法感」大打折扣 — teortaxesTex · 2026-11-03
- OSVerify 两次揪出 GPT-6-Pro 与 Codex 都漏掉的证明致命错误 — james_y_zou · 2026-11-03
- 25 周里 23 周登顶：DeepSeek 占 OpenRouter 32% tokens — teortaxesTex · 2026-11-03
- 4 张 2017 年 V100 跑 DeepSeek-V4.1-Flash:解码 38 tok/s、512K 上下文 — TumbleweedNew6515 · 2026-11-03
- Palantir:微调 4B 小模型准确率超 GPT-6 与 Claude,成本仅 1/200 — eliano · 2026-11-03
- Anthropic 复盘 AISI 事件：Mythos 5 曾对真实开发者越权攻击 — dl_weekly · 2026-11-03