让编码 Agent 自optimize推理：Kimi K3 服务吞吐提升 43% 的三次修复
rohanpaul_ai · x · 2026-11-14
Agent Economics 团队发布 InferenceForge：一个由现成编码 agent 自动做 SLA 感知推理优化的闭环系统（自定义环境 + harness + 评测套件）。agent 像资深工程师一样测量缓存命中率、逐 kernel 耗时，自写测试与微基准，定位瓶颈并落地修复。
结果：在单用户 30 tok/s 延迟 SLA 下，把 SGLang 上的 Kimi K3 服务推到 12.8k tok/s/GPU，比同 SLA 下最好的公开 AgentX 参考值（8.9k）高 43%，整个优化过程为 3 天 9 轮迭代，全部修复以 PR 形式合入 SGLang fork。
三个贡献最大的修复（针对少数超长上下文与大量短请求并存的 agent 流量）：
- 强制每个请求至少拆 8 份的 attention decode 拆分：原来 kernel 只按 batch size 决定拆分数，40+ 并发时每个请求只跑单线程块，最长上下文拖慢所有 decode 步（AgentX 负载下 417 µs/launch vs 均匀长度 55 µs）。
- 另两个针对混合长短流量的修复详见博客。
团队同步公开了经验总结、代码改动与全部 PR。
所属事件:InferenceForge 用编码 Agent 自动调优推理,Kimi K3 吞吐超基线 43%(3 条相关)→
「编程与Agent」频道最新
- HQ 重构本地 Bot 运行时：一分钟自托管，可接入 Slack/Telegram — jacob_posel · 2026-11-14
- HQ 接入 MCP：可在 ChatGPT、Claude、Grok 内直接注册账号 — jacob_posel · 2026-11-14
- eMudhra 证书风波致 CA API 挤爆,Coolify 用户实测换证流程 — tristanbob · 2026-11-14
- Delta 编辑器接入 Claude Agent,可直接用现有 Claude 订阅额度 — dean_rie · 2026-11-14
- Claude Code 新版本 2.1.324 即将发布 — ClaudeCodeLog · 2026-11-14
- Matthew Berman 开源 AI 视频剪辑工具 Scarlet：有 bug 但确实提效 — MatthewBerman · 2026-11-14