非对称检索架构:9B 建索引、0.6B 编码查询,兼顾精度与线上延迟
antoine_chaffin · x · 2026-10-08
作者解释这套模型架构的实际价值:搜索是非对称的——索引是离线的、成本可摊销,查询编码是在线的、对延迟敏感。因此可以用 9B 模型为语料建索引,用 0.6B 模型编码实时查询;或者在设备端用 0.6B 编码私有文档,再与云端 9B 索引合并。
所属事件:Perplexity 开源多模态嵌入模型 pplx-embed-v2-late(38 条相关)→
「Infra」频道最新
- Agent 数据过路费:Salesforce Agentforce ARR 破 15 亿美元 — BenBajarin · 2026-10-08
- 贝恩预测 2030 年前新增近 150GW 数据中心，需 5-6.5 万亿美元 — Beth_Kindig · 2026-10-08
- TypeSafeAI 团队四天内在 Modal 上跑出万亿 token 推理量 — josh_wills · 2026-10-08
- llama.cpp 新 PR：MoE 专家留主机内存，GPU 缓存大幅提速 — jacek2023 · 2026-10-08
- 盘 Google 超大核电合约背后的固电力版图:核电商、变压器与燃料电池 — demian_ai · 2026-10-08
- 温度设 0 也不确定:浮点顺序与并行让 LLM 推理无法完全复现 — ducha_aiki · 2026-10-08