华盛顿邮报用独立推理跑 AI 问答，每月处理 17.9 亿 token
togethercompute · x · 2026-07-25
《华盛顿邮报》把 AI 问答跑在独立推理基础设施上
《华盛顿邮报》披露，自己在 2024 年 11 月推出的 Ask The Post AI，使用 Together AI 的模型推理平台，基于其深度采编的新闻内容回答读者问题。
为什么要换推理方案
- 目标是避免被专有 API 锁定，获得对模型栈的独立控制。
- 该产品需要支撑每天数千次查询，并保持10 秒以内响应。
- 继续自建虽然能控模型，但 MLOps 和部署运维成本太高；而公有云和闭源模型提供商在成本、供给和可控性上都不理想。
实际采用的方案
- 使用专用端点搭建定制 GPU 基础设施
- 生产环境托管 Llama 和 Mistral 等开源模型
- 采用 专用 + 无服务器 的混合推理架构
- Together AI 工程团队参与了基础设施优化和定制配置
结果
- 每月处理 17.9 亿 输入 token
- 响应时间稳定在 2 秒 左右
- 采用固定月费，成本更可预测
- 搜索结果会推动用户继续展开回答、点击源文章，提升新闻内容曝光
「公司和人」频道最新
- Anthropic 内部爆料:并非人人都持高 p(doom) 灾难论 — anpaure · 2026-09-11
- AI 电影节 Lumara 将登陆纽约,顶级 AI 电影人齐聚评审 — 0xAllen_ · 2026-09-11
- Anthropic 研究员被指暗中窥探学术客户研究、抢先出成果引争议 — basedjensen · 2026-09-11
- 投资人放话:Palantir×英伟达联手将重创 Anthropic IPO 估值 — pdamodaran · 2026-09-11
- a16z 播客：两三人小团队为何在政策讨论中集体失声 — a16z Podcast · 2026-09-11
- PyTorch Day Korea 2026 首届线下大会启动,9月13日截止征集演讲 — PyTorch · 2026-09-11