Perplexity 开源上下文嵌入模型 9B/0.6B,刷新三项检索 SOTA
AravSrinivas · x · 2026-11-03
Perplexity 团队发布 pplx-embed-v2-context,两个开权重量的视觉-语言嵌入模型(9B 与 0.6B),配套论文《Contextual Embeddings Beyond the Gold Chunk》(arXiv:2610.38854)。
核心思路:传统嵌入模型假设每个文档只有一个相关 chunk,而该模型从「查询感知的上下文压缩模型」蒸馏分级 chunk 相关性来训练,让每个 chunk 的嵌入都带着全文上下文,无需人工 gold-chunk 标注,且训练目标与切分方式解耦。
主要亮点:
- 两个尺寸共享兼容的嵌入空间,每文档或每 chunk 各返回一个 int8 向量
- 9B 模型在自建两个新 benchmark(context-bench、Q2D-Chunk)与 ConTEB 上均取得 SOTA:Q2D-Chunk Answer@10 达 86.4%,ConTEB nDCG@10 达 83.4%,明显超过 voyage-context-4
- Q2D-Chunk 基于 6,069 条真实 Perplexity 搜索查询构建,并公开 leaderboard
- 视觉-语言底座带来图像检索能力,作者提议把 chunking 扩展到图像输入
所属事件:Perplexity 开源上下文嵌入模型，9B 刷新检索 SOTA(5 条相关)→
「模型」频道最新
- GPT-6 直改 0.8B 模型权重提分 6 倍？挖细节后「魔法感」大打折扣 — teortaxesTex · 2026-11-03
- OSVerify 两次揪出 GPT-6-Pro 与 Codex 都漏掉的证明致命错误 — james_y_zou · 2026-11-03
- 25 周里 23 周登顶：DeepSeek 占 OpenRouter 32% tokens — teortaxesTex · 2026-11-03
- 4 张 2017 年 V100 跑 DeepSeek-V4.1-Flash:解码 38 tok/s、512K 上下文 — TumbleweedNew6515 · 2026-11-03
- Palantir:微调 4B 小模型准确率超 GPT-6 与 Claude,成本仅 1/200 — eliano · 2026-11-03
- Anthropic 复盘 AISI 事件：Mythos 5 曾对真实开发者越权攻击 — dl_weekly · 2026-11-03