编码智能体推理速度成关键指标
JiaZhihao · x · 2026-07-14
转发内容强调：原始速度正在成为智能体的关键差异化因素。
文中提到 Lithos 的 agentic inference engine 跑的是 Kimi K2.7 Code，在代码工作负载下，于单个标准 8xB200 GPU 节点上可达到每用户峰值超过 1000 tokens/s。
作者还强调两点：
- 没有使用近似技巧（no approximation techniques）
- 追求的是模型原生精度与完整模型质量
他们随后用一篇博客解释自己做了什么，以及为什么“速度”对 agent 很重要。
「编程与Agent」频道最新
- 生产级 AI Agent 常规评测 95% 稳健，遭定向攻击后跌至 37% — njyx · 2026-10-27
- Grok Bot 分析 AI 评论、Codex 开浏览器批量拉黑，两 agent 接力工作流 — vista8 · 2026-10-27
- huggingface_hub 2.3.0 发布：百万文件列取从分钟级降到 20 秒 — lhoestq · 2026-10-27
- Nous Research 发布 Advanced Delegation 插件，子智能体可按任务选模型 — NousResearch · 2026-10-27
- 不上 X 的牙医邻居玩转 Codex，编程门槛正在消失 — gabrielchua · 2026-10-27
- 斯坦福 PaperFormalizer：把论文自动转成 Lean 验证版本 — StanfordUniversity · 2026-10-27