Together 推出 Compiler:让智能体持续优化推理编译瓶颈
togethercompute · x · 2026-11-12
Together 发布 Together Compiler(TKCC),提出「持续编译」与 Polymorphic Inference 概念,解决 AI 推理负载高度动态的优化难题。
核心思路:
- 端到端跑模型、定位瓶颈、再让模型自己修复瓶颈
- 传统人工/ML 编译器依赖固定规则,难以覆盖数千种组合(新模型、H100/B200/B300/NVL72/Groq 等硬件、不同流量形态)
- OpenRouter 前 10 开源模型竟无一同构架构,OpenRouter 上头部开源模型架构各异;Together 每天服务数万亿 token,负载差异极大
Agent 方案的瓶颈:理论上 agent 最适合这种搜索优化问题,但受限于实验迭代速度。Together Compiler 是首个真正的持续优化系统,配套发布 Together Post-Training 与 Together Link(在现有工具链中运行开源模型),另有按需 B200 集群上线。
所属事件:Together 发布持续编译编译器,Kimi K3 吞吐最高提升2.7倍(2 条相关)→
「编程与Agent」频道最新
- xAI 发布 Grok Bot 1.0:可进会议记纪要、在 Slack 团队协作 — soleio · 2026-11-12
- Google 联合 Artificial Analysis 推 MKA benchmark,专查智能体交付物 — OnlineInference · 2026-11-12
- Hairline 技能让 Perplexity Computer 一行想法画出等距线稿 — jeffgrimes9 · 2026-11-12
- 开源 Cadpole:让编码智能体通过 MCP 自查自纠地写参数化 CAD — MikeLewis · 2026-11-12
- Vmax 推出 Campaign:用自博弈自动生成 RL 任务训练 Agent — soleio · 2026-11-12
- Pokee AI 亮相日本 NexTech 周:10M token 原生上下文的企业级智能体 — Kyrannio · 2026-11-12