Together 推出 GPU 集群免费缓存层,热读取提速约 20 倍
togethercompute · x · 2026-11-20
Together AI 发布 Together Storage Accelerator(TSA),随所有 Together GPU 集群免费提供。
- 在每个 GPU 节点上部署分布式缓存,缓存任意 S3 兼容对象存储与 Hugging Face Hub 的数据
- 每个集群只需从源端拉取一次,之后热读取速度可达 3.4 GB/s,约为跨云拉取的 20 倍
- 无需修改应用代码,可减少训练冷启动等待(如 30 分钟的模型下载)和 AWS 高达 $0.09/GB 的出口流量费用
核心逻辑是:GPU 再快,数据管道慢就会让算力干等付费。TSA 试图把这部分「WAN 税」消掉。
「Infra」频道最新
- 作者支招:告诉 Claude「失败不是选项」,逼它改写 kernel 适配你的 GPU — QuixiAI · 2026-11-20
- Volcano 发布 Agent Cloud:为 Claude Code 等 agent 打造自愈部署平台 — rohanpaul_ai · 2026-11-20
- GTX 1650 上跑 Krea-2-Turbo:单图从 18 分钟压到 30 秒 — A_NASHEX · 2026-11-20
- 开源 subapi 把 Claude 订阅额度转成本地 API 端点对外共享 — Last-Transition249 · 2026-11-20
- BMW 12500 名开发者、数百个 Agent 的企业级治理实践全公开 — AWS ML Blog · 2026-11-20
- 分析师推演:算法进步下 20 万卡 GB300 规模 2028 年即可保证入场 viable — teortaxesTex · 2026-11-20