Exa 借 AWS 自研芯片将嵌入吞吐提升 50%,索引数百亿文档
AWS ML Blog · rss · 2026-11-19
搜索公司 Exa 详解如何将其嵌入基础设施迁移并优化到 AWS Inferentia2/Trainium2 芯片上,以支撑数百亿级网页文档的嵌入索引。要点:
- 背景:Exa 运营自建网页索引与向量数据库,重嵌入 300 亿份高优文档使推理负载翻倍,借此重新评估硬件性价比。
- 优化路径:从 FP16 数据并行基线出发,依次做了权重布局优化、autocast 降精度(以 0.999 余弦相似度为正确性门槛)、NKI 预置注意力 kernel、自研权重驻留式融合 SwiGLU MLP kernel 消除 HBM 溢出、按模型真实形状重写注意力 kernel 削减 padding FLOPS。
- 成果:最终每百万文档嵌入的性能与成本较基线改善 47%(标题口径为吞吐提升约 50%)。
- Agentic 方法论:所有优化由智能体在 Flyte 工作流的“验证-测速-剖析”三段式 harness 中完成:轻量模型做编译参数网格搜索,推理型 agent 检验假设定位瓶颈,最强代码生成模型写自定义 kernel;正确性校验防止漂移,按任务匹配不同价位的 agent 控制成本。
- 硬件弹性:单一区域/实例类型易造成算力短缺,Exa 正在跨 Region 与 Spot/按需实例间调度以提升供应弹性。
「编程与Agent」频道最新
- 老程序员担心 AI 代码又脆又烂,有人反驳:Opus 写得比大多数人好 — dreamwieber · 2026-11-19
- 让 Agent 为每个视觉改动的 PR 自动生成前后对比截图 — tomjohndesign · 2026-11-19
- Gemini 4 Neon 登顶 Coding Agent Index,价格仅 $3/$15 — olcan · 2026-11-19
- YC F26 项目 Rezora 发布:家庭服务 AI 前台月经常性收入 2.3 万美元 — ycombinator · 2026-11-19
- OpenAI 用第三方工具 DeepBinary 评测 GPT-6.2 的内核漏洞挖掘能力 — LingmingZhang · 2026-11-19
- Lenny 与 Yang 横评编程 Agent:Carbon 目前优于 Neon 但偏慢 — lennysan · 2026-11-19