Perplexity 新 embedding 模型：大模型建索引、小模型做查询
antoine_chaffin · x · 2026-10-15
Perplexity 发布了一对 embedding 模型（9B 和 0.6B），允许用大模型给文档建索引、用小模型做实时查询搜索。
关键设计是用蒸馏让两套 embedding 兼容：先训练一个大 teacher 模型做「问题-相关文档」匹配，再训练 9B 和 0.6B 两个学生模型去复现 teacher 的 embedding。这样重文档可以离线用大模型充分表征（用户不用等），在线查询则用 0.6B 小模型保证速度。蒸馏不可能完美，小模型无法完全复现 teacher 表示，是这一方案的固有取舍。
帖子的链接正文实为 Isaac Flath 的付费 OCR 工作坊广告（$500，含 $700 API 额度），内容为 PDF OCR 模型选型、评估 harness 搭建与生产部署，示例展示 OCR 常见失败：补写看不见的文本、数值放进错误表头、丢掉温度范围等适用条件。
「Infra」频道最新
- Physion 发布 NexTron：SFT 吞吐最高超 DeepSpeed 20.9 倍 — du_yilun · 2026-10-16
- Dreamscale 发布物理 AI 云推理：单张 H100 并发跑 8 台机器人 — arnie_hacker · 2026-10-16
- Google 地震预警系统从 98 国扩至近 200 个国家和地区 — sundarpichai · 2026-10-16
- 微软研究院发布 Magnetar:零知识证明快 10-39 倍且仅依赖哈希函数 — Microsoft Research · 2026-10-16
- 迁回 1PB 数据上本地成本惊人，AI 训练促云回迁潮 — DavidLinthicum · 2026-10-15
- FP8+DSpark 叠加优化 Nemotron 3.5 Super VL，H100 上近 2 倍提速 — vllm_project · 2026-10-15