You.com 推 Inference Router:搜索与模型同机部署,延迟降 15%

RichardSocher · x · 2026-10-23

You.com CEO Richard Socher 发布 Inference Router:企业级推理服务,把模型、内置 web search 与企业特性(99.9% SLA、零数据留存、美国本土部署、多供应商故障转移)合并到一个 OpenAI 兼容 API。搜索与模型跑在同一台服务器上,官方测试延迟降低约 15%。在 Braintrust 独立评测中,开源权重模型搭配其 web search 可持平或超越某头部闭源模型的内置搜索,每问题成本最高便宜 75%。该服务自 2022 年起在生产环境同时运行 AI 与网页搜索,每月承载 20 亿次搜索 API 调用。