Together Compute 发布多节点推理引擎，支持近线性扩展
togethercompute · x · 2026-07-30
Together Compute 宣布其推理引擎支持多节点近线性扩展，从16 GPU到64 GPU，步骤/分钟从671提升至2248，且领先幅度随集群规模扩大（2节点1.79倍，8节点2.39倍）。该引擎为即插即用，只需一个 programid 字段即可接入现有配置，支持 KV offloading 和推测解码，格式无关，已兼容 OpenAI chat completions，并被 SkyRL 和 NVIDIA Dynamo 采用。
所属事件:Together AI 发布 ThunderAgent，智能体推理吞吐量翻倍(7 条相关)→
「Infra」频道最新
- 卖一张 5090 换四张 R9700：显存翻倍值不值 — poofph · 2026-10-16
- 32GB 内存+8GB 3070 跑 PolyStrata+ Cline，约 90 tok/s — rpwoerk · 2026-10-16
- TensorFold 1.0.12 发布：120B 视觉模型跑进 1-2 台 DGX Spark — HankYeomans · 2026-10-16
- vLLM 适配 NVIDIA RTX Spark PC，前沿模型可本地部署 — vllm_project · 2026-10-16
- 黄仁勋预告 GTC 柏林再签约 20 亿美元,欧洲 AI 投入将达约 100 亿美元 — CurieuxExplorer · 2026-10-16
- Martin Fowler 刊文:让数据为 Agentic AI 就绪,先修信任再谈语义 — bibryam · 2026-10-16