Together 推出 agentic 编译器 TKCC:实验效率提升 252 倍,MiniMax M3.1 达 1111 TPS
simran_s_arora · x · 2026-11-05
Together 研究团队发布 Together Compiler(TKCC),一个面向 AI 推理的持续编译系统。出发点是推理负载的「多态性」:OpenRouter 上 80% 流量流向最近三个月发布的模型,十大热门开源模型各用不同架构,客户用法持续变化,静态优化跟不上。
核心亮点:
- 252x 实验吞吐:agent 每小时可尝试的优化实验数比此前 agent 推理优化系统多 252 倍
- SOTA TPS:24 小时、每编译仅 2 节点即在所有 InferenceX 测试中超越最优引擎;MiniMax M3.1 B200 达 1111 TPS,DeepSeek v4.1 Flash GB300 达 1205 TPS(batch size 1),支持 NVIDIA/AMD/Trainium2
- 持续重编译:已日产数万亿 token,数小时内适应流量变化
- 经验教训:基于 ThunderKittens、Megakernels 两年多的积累,证明无抽象/IR 的 agentic 编译器能达到更高性能上限
所属事件:Together 发布持续编译器 TKCC：Agent 自动优化推理(11 条相关)→
「Infra」频道最新
- LFM3-Omni-2B 移植 iPhone：完全离线多模态对话达 80 tok/s — JosephJacks_ · 2026-11-05
- Together 发布持续编译器 TKCC:Agent 自动优化推理,实验效率提升 252 倍 — togethercompute · 2026-11-05
- 轨道数据中心发射入轨：被玩成「精灵西渡」的科幻梗 — rand_longevity · 2026-11-05
- 越南林同省拟引入 Starlink，破解山区事故救援通信难题 — elonmusk · 2026-11-05
- SpaceX 携手高通建全美 Starlink Mobile 5G 网络，2027 年铺开 — Polymarket · 2026-11-05
- Agent 烧钱循环怎么防：调用前预算护栏的六道检查与三个踩坑 — MaverikSh · 2026-11-05