华盛顿邮报用独立推理跑 AI 问答，每月处理 17.9 亿 token
togethercompute · x · 2026-07-25
《华盛顿邮报》把 AI 问答跑在独立推理基础设施上
《华盛顿邮报》披露，自己在 2024 年 11 月推出的 Ask The Post AI，使用 Together AI 的模型推理平台，基于其深度采编的新闻内容回答读者问题。
为什么要换推理方案
- 目标是避免被专有 API 锁定，获得对模型栈的独立控制。
- 该产品需要支撑每天数千次查询，并保持10 秒以内响应。
- 继续自建虽然能控模型，但 MLOps 和部署运维成本太高；而公有云和闭源模型提供商在成本、供给和可控性上都不理想。
实际采用的方案
- 使用专用端点搭建定制 GPU 基础设施
- 生产环境托管 Llama 和 Mistral 等开源模型
- 采用 专用 + 无服务器 的混合推理架构
- Together AI 工程团队参与了基础设施优化和定制配置
结果
- 每月处理 17.9 亿 输入 token
- 响应时间稳定在 2 秒 左右
- 采用固定月费，成本更可预测
- 搜索结果会推动用户继续展开回答、点击源文章，提升新闻内容曝光
「公司和人」频道最新
- a16z 调查：最受欢迎天使包括 Elad Gil 和马斯克 — jfischoff · 2026-07-25
- 工程师称自建数据平台已服务 4 亿用户的内部场景 — teodorio · 2026-07-25
- Opus 5 驱动 AlphaSchool 的实时 AI 家教原型 — mattshumer_ · 2026-07-25
- VaynerX 用 Claude 在几小时内做出原本要价 2 万美元的内部应用 — tomcrawshaw01 · 2026-07-25
- 受签证所限无法参会，ECCV 强制全额注册政策引争议 — gan_chuang · 2026-07-25
- MiniMax 推出 7 月 28 日的推理、智能体与评估研究活动 — togethercompute · 2026-07-25