降低 Agent 延迟与 MoE 训练瓶颈的工程实践

arpit_bhayani · x · 2026-08-06

分享了近期值得关注的 AI 工程与底层优化技术动态：

Agent 延迟优化：在调用大模型工具时，不必等待整个流式响应结束即可提前分发工具调用。这种并行处理能将两个独立的耗时操作重叠，从而显著降低 Agent 的端到端延迟。
MoE 训练算子优化：Cursor 开源了名为 Mixture-of-Kittens (MoK) 的生产级 MoE 训练超大算子（megakernel）。该算子专为 NVL72 等多节点单 NVLink 域硬件设计，通过将所有 MoE 的通信和计算融合为一个完全确定性的内核，从根本上解决了通信开销瓶颈，大幅提升了大规模智能体模型的训练效率。
无损推理加速：探讨了如何在不进行模型量化（避免质量下降）的前提下，利用 exact kernels、投机解码和 KV 复用等技术显著加快大模型服务推理速度。

「编程与Agent」频道最新