华盛顿邮报用独立推理跑 AI 问答，每月处理 17.9 亿 token
togethercompute · x · 2026-07-25
《华盛顿邮报》把 AI 问答跑在独立推理基础设施上
《华盛顿邮报》披露，自己在 2024 年 11 月推出的 Ask The Post AI，使用 Together AI 的模型推理平台，基于其深度采编的新闻内容回答读者问题。
为什么要换推理方案
- 目标是避免被专有 API 锁定，获得对模型栈的独立控制。
- 该产品需要支撑每天数千次查询，并保持10 秒以内响应。
- 继续自建虽然能控模型，但 MLOps 和部署运维成本太高；而公有云和闭源模型提供商在成本、供给和可控性上都不理想。
实际采用的方案
- 使用专用端点搭建定制 GPU 基础设施
- 生产环境托管 Llama 和 Mistral 等开源模型
- 采用 专用 + 无服务器 的混合推理架构
- Together AI 工程团队参与了基础设施优化和定制配置
结果
- 每月处理 17.9 亿 输入 token
- 响应时间稳定在 2 秒 左右
- 采用固定月费，成本更可预测
- 搜索结果会推动用户继续展开回答、点击源文章，提升新闻内容曝光
「公司和人」频道最新
- Together AI 对谈 Meta:详解 Muse Spark Open 开放模型 — togethercompute · 2026-10-27
- Anthropic S-1 文件罕见讨论 AI 感知与道德地位风险 — birchlse · 2026-10-27
- Resy 全面封杀用 AI 抢订位的初创，大平台或将摊牌 — kevinakwok · 2026-10-27
- Vercel 红人 sonofalli 跳槽 Factory 出任营销副总裁 — matanSF · 2026-10-27
- 超80%谷歌搜索已含AI Overviews,周末排名再剧烈波动 — OnlineInference · 2026-10-27
- 硅谷工程师算账：4 个月烧 200 亿 token，年省数十万美元编制 — thechrisperry · 2026-10-27