Together AI 推出 Polymorphic Inference：AI agent 自动优化自家推理栈
realDanFu · x · 2026-11-05
Together AI 研究负责人 Simran Arora 与 Dan Fu 发布博客，宣布 Together 端点上众多模型现已由 AI agent 全自动优化——号称全球首个生产级递归自我改进（RSI）推理系统，实现从「静态推理」到「多态推理（Polymorphic Inference）」的转变。
背景脉络：团队从 FlashAttention、ThunderKittens、megakernels 等系列工作一路积累 kernel 编程抽象，去年夏天开始尝试「让 agent 自动生成所有 kernel」，由当时还是实习 PhD 学生的 Reyna Abhyankar 承担「如果全部自动化 kernel 会怎样」的探索，如今落地为生产系统。
核心动机是应对新模型发布速度、架构多样性、负载与硬件平台的快速变化——研究人力无法跟上推理市场的指数级增长，于是转向 Continuous Compilation，让 AI 持续自我优化推理。作者称这是迈向「多态未来」的第一步，博客第 3 节与 4.4 节包含大量生产化经验。
所属事件:Together AI 发布持续编译器 TKCC，Agent 自动优化推理(27 条相关)→
「Infra」频道最新
- Cloudflare Durable Objects 调用自动重试,最多 4 次无需自写重试逻辑 — dinasaur_404 · 2026-11-06
- 科技股单日蒸发 3.2 万亿美元,Nvidia 跌 9.3%,数据中心或受地方严审 — rohanpaul_ai · 2026-11-06
- 瑛太 Huang 新视频拆解 LLM Serving：让推理更快更便宜的关键技术 — jbhuang0604 · 2026-11-06
- 美国 BIS 再延期:实体清单关联方终端用户管制暂停延至 2027 年 1 月 — pstAsiatech · 2026-11-06
- Meta 提出 Axia：少量试跑即可学到推荐排序模型的 scaling law — _reachsumit · 2026-11-06
- 剔除数据中心设备后,美国贸易逆差占 GDP 仅 0.7%,为 2000 年以来最低 — soumitrashukla9 · 2026-11-06