Perplexity 开源上下文嵌入模型，9B 刷新检索 SOTA
Perplexity 于 11 月 3 日在 Hugging Face 开源上下文嵌入模型 pplx-embed-v2-context，提供 9B 与 0.6B 两个开权重版本，并配套论文《Contextual Embeddings Beyond the Gold Chunk》。该系列基于 pplx-embed-v2-late-9b 微调，据 Perplexity 的 antoinechaffin 介绍，9B 模型在 turbopuffer 的 context-bench 上达到 45.5 Answer@10，显著超越 voyage，刷新检索 SOTA。
已确认
- 模型在 Hugging Face 上开源，提供 9B 和 0.6B 两个版本，基于 pplx-embed-v2-late-9b 微调，采用 Qwen3.5 架构（据 @AravSrinivas 与 antoinechaffin 的帖子）
- 9B 模型在 context-bench 上得分 45.5 Answer@10，超过 voyage
- 训练路径：先用数据扩展训练 9B 教师模型，再通过与 late-interaction 模型相同的表征级蒸馏方法得到 0.6B 小模型；两模型共享同一嵌入空间，可实现交叉查询
- 训练目标：将 chunk 级 KL 损失与文档级对比损失结合，文档级使用 max-pooled chunk scores，使模型同时学会哪些 chunk 包含答案或支持证据、以及在干扰文档中定位正确文档
为什么重要
上下文感知嵌入让检索不再局限于孤立的 chunk 匹配，而是理解答案与上下文的关系；9B/0.6B 共享嵌入空间的设计允许在同一索引中混合使用大小模型，兼顾效果与成本，对 RAG 与搜索场景有直接实用价值。
2026-11-03 ~ 2026-11-03 · 5 条相关
一手来源
- Perplexity 9B 上下文嵌入模型 SOTA，context-bench 得分 45.5 超越 voyage — antoine_chaffin ·
- Perplexity 开源 pplx-embed-v2 上下文嵌入模型，9B 与 0.6B 双版本 — antoine_chaffin ·
- 9B 教师模型蒸馏出 0.6B 嵌入模型，共享嵌入空间可交叉查询 — antoine_chaffin ·
- Perplexity 开源上下文嵌入模型 9B/0.6B,刷新三项检索 SOTA — AravSrinivas · 2026-11-03
- chunk 级 KL 损失加文档级对比损失，训练答案与上下文双感知嵌入 — antoine_chaffin · 2026-11-03
- 【源头】9B 教师模型蒸馏出 0.6B 嵌入模型，共享嵌入空间可交叉查询 — antoine_chaffin · 2026-11-03
- 【源头】Perplexity 9B 上下文嵌入模型 SOTA，context-bench 得分 45.5 超越 voyage — antoine_chaffin · 2026-11-03
- 【源头】Perplexity 开源 pplx-embed-v2 上下文嵌入模型，9B 与 0.6B 双版本 — antoine_chaffin · 2026-11-03