Together 重写推理平台，月处理 400 万亿 tokens
graceisford · x · 2026-07-24
Together 表示自己把推理平台从头重写了一遍，主要是基于服务 AI 原生团队和企业客户时积累的生产环境经验。
变化重点
- 新平台已经上线
- 面向开源模型和自定义模型的生产部署
- 支持在真实流量上先测试变更，再让用户看到
- 官方称其每月处理 400 万亿 tokens，这也是重写平台的重要背景
这条信息的核心是基础设施能力：更可控的生产环境、更安全的发布流程，以及大规模推理流量带来的工程优化。
所属事件:Together.ai 推出全新开源模型推理平台(4 条相关)→
「Infra」频道最新
- 从聊天到 Agent,推理延迟正在成为生产级瓶颈 — Euphoric_Sea632 · 2026-09-11
- 推理服务关键指标盘点:流式速度 TPOT 与可用性如何影响体验 — abhijithneil · 2026-09-11
- PlanetScale 推出分片 Postgres,768 台服务器组成 1PB 单库 — dhruv2038 · 2026-09-11
- 7900 XTX 24GB 能否跑 Qwen，Reddit 征集 ROCm 实测数据 — thenomadexplorerlife · 2026-09-11
- 实测戳破 RTK 省钱神话:token 省了,账单分文未降 — Bartaseth · 2026-09-11
- SF Compute 创始人：现在买算力是「绝对糟糕的体验」 — IgorCarron · 2026-09-11