Together Compiler 用智能体持续优化推理，速度最高提升 2.6 倍
simran_s_arora · x · 2026-11-05
Together AI 发布 Together Compiler：用智能体（agents）针对生产流量持续优化推理部署，号称每日服务数万亿 token。
关键数据：
- 比领先的 InferenceX 配置快最多 2.6 倍，在客户实际工作负载上快最多 50%
- 团队指出推理负载是「多态」的：OpenRouter 上 80% 流量流向近三个月发布的新模型，Top 10 开源模型各用不同架构，客户使用行为也持续变化，因此需要「持续编译」式优化
- TKCC 技术让 agent 每小时能尝试的优化实验数量提升 252 倍
所属事件:Together AI 發布持續編譯器 TKCC，Agent 數小時完成推理優化(19 条相关)→
「编程与Agent」频道最新
- 工程师借 Claude 优化代码,再手改后在 EC2 CPU 上比 M4 Max 快 50 倍 — _Stocko_ · 2026-11-05
- Rust 写个 todo app 占 14GB?真相是两套编译缓存吃掉 13GB — lxfater · 2026-11-05
- Remote MCP 开源项目：用 MCP 协议远程管理你的设备 — Latter-Storage9610 · 2026-11-05
- MCP over HTTP 的 OAuth 坑：只验 token 有效性不够，必须校验 audience — alvelda · 2026-11-05
- 实测:花 373 美元短程 RL 让模型学会用笔记，比塞长上下文省 5-10 倍 — teortaxesTex · 2026-11-05
- Vercel 安全审查上线:24小时揪出6817个漏洞,Agent已修1411个 — cramforce · 2026-11-05