跨模型检索实测:0.6B 查 9B 索引零成本缩小一半差距
antoine_chaffin · x · 2026-10-08
本帖重点介绍共享 embedding 空间带来的跨模型检索能力及其评测:用 0.6B 模型查询 9B 模型建的索引,比用 0.6B 索引得分更高且查询延迟不变;9B 查询仍最强,但小模型查询即可闭合约一半差距,为生产环境提供了灵活的精度-延迟折中方案。
所属事件:Perplexity 开源多模态嵌入模型 pplx-embed-v2-late(38 条相关)→
「Infra」频道最新
- Agent 数据过路费:Salesforce Agentforce ARR 破 15 亿美元 — BenBajarin · 2026-10-08
- 贝恩预测 2030 年前新增近 150GW 数据中心，需 5-6.5 万亿美元 — Beth_Kindig · 2026-10-08
- TypeSafeAI 团队四天内在 Modal 上跑出万亿 token 推理量 — josh_wills · 2026-10-08
- llama.cpp 新 PR：MoE 专家留主机内存，GPU 缓存大幅提速 — jacek2023 · 2026-10-08
- 盘 Google 超大核电合约背后的固电力版图:核电商、变压器与燃料电池 — demian_ai · 2026-10-08
- 温度设 0 也不确定:浮点顺序与并行让 LLM 推理无法完全复现 — ducha_aiki · 2026-10-08