华盛顿邮报用独立推理跑 AI 问答，每月处理 17.9 亿 token

togethercompute · x · 2026-07-25

《华盛顿邮报》把 AI 问答跑在独立推理基础设施上

《华盛顿邮报》披露，自己在 2024 年 11 月推出的 Ask The Post AI，使用 Together AI 的模型推理平台，基于其深度采编的新闻内容回答读者问题。

为什么要换推理方案

• 目标是避免被专有 API 锁定，获得对模型栈的独立控制。
• 该产品需要支撑每天数千次查询，并保持10 秒以内响应。
• 继续自建虽然能控模型，但 MLOps 和部署运维成本太高；而公有云和闭源模型提供商在成本、供给和可控性上都不理想。

实际采用的方案

• 使用专用端点搭建定制 GPU 基础设施
• 生产环境托管 Llama 和 Mistral 等开源模型
• 采用 专用 + 无服务器 的混合推理架构
• Together AI 工程团队参与了基础设施优化和定制配置

结果

• 每月处理 17.9 亿 输入 token
• 响应时间稳定在 2 秒 左右
• 采用固定月费，成本更可预测
• 搜索结果会推动用户继续展开回答、点击源文章，提升新闻内容曝光

原文链接 →

「公司和人」频道最新

• Google DeepMind 前沿计算团队在伦敦招募学生研究员 — PetarV_93 · 2026-10-27
• 日本 Aeon 前高管：AI 智能体是此生最具影响力的创新 — akumar · 2026-10-27
• 欧洲第10国拉脱维亚批准 Tesla FSD,马斯克称赞小国审批最快 — elonmusk · 2026-10-27
• AI 动画创作者 Eduardo 加入 Reflection AI,押注开源权重路线 — bigblueboo · 2026-10-27
• 微软向 6 万员工提出自愿买断,以削减成本应对 AI 算力开支 — Polymarket · 2026-10-27
• 马斯克盛赞 Grok Bot:像雇了个超能干的幕僚长 — elonmusk · 2026-10-27

更多「公司和人」频道 AI 资讯 →