Together AI 发布 TKCC:智能体持续编译推理引擎,实验提速252倍
simran_s_arora · x · 2026-11-07
Together AI 发布论文《Together Compiler: Continual Compilation for AI Inference》，让编码智能体持续修改并测试推理引擎代码，无需重启引擎，直接用真实工作负载衡量性能。
核心问题：AI 工作负载变化快（新模型、多样架构、流量漂移），而用智能体优化推理存在「测量吞吐 vs 保真度」的两难——离线基准测单个 kernel 因 MoE 等数据依赖行为失真，端到端优化引擎则启动太慢。
方案与结果：
- Tiered Persistent Engine：把引擎启动开销与前向计算解耦
- 成本模型选择并行配置作为优化起点
- 大量智能体上下文管理消融实验，并分享了生产部署经验
- 智能体实验次数提升 252 倍，前沿模型上推理吞吐最高超最佳开源引擎 2.6 倍；Llama 1B 工作负载上比手写 Megakernels 高 1.7 倍
「编程与Agent」频道最新
- 亚马逊开始封锁家庭 IP 的个人 AI Agent 购物流量 — unixterminal · 2026-11-07
- Claude Duet 新增 Claude Code 会话：手机上远程审批与跟进 — lydiahallie · 2026-11-07
- 单卡 2 小时训练 4B「小决策模型」,agent 决策准确率 86.5% 超 Jev 1.13 — ivan_bezdomny · 2026-11-07
- 一张图讲清构建 AI 应用的三种架构：单 Agent、Agent 团队与图工作流 — rseroter · 2026-11-07
- 60 秒拉起一万个 agent 玩 Minecraft，跑在 200 台 48 核机器上 — KlausCodes · 2026-11-07
- Bend 2 生态周报仓库上线：已有 1036 个包、支持哈希精确引用 — SubtleGradient · 2026-11-07