Kimi代码模型推理超千tok/s
JiaZhihao · x · 2026-07-10
Lithos 分享了他们为 Kimi K2.7 Code 构建的 serving stack：在单个 8×B200 节点上，面向编码负载可达到每用户超过 1000 tokens/s 的峰值吞吐，同时保持模型原生精度、完整质量且不引入额外近似。
他们强调，对智能体来说，速度会直接影响每一步推理、编码与迭代的延迟；因此“超快推理”会改变 agentic 体验。帖子附带了试用链接。
「编程与Agent」频道最新
- Agent 成功完成任务的背后:验证器只查了「有没有点击」导致重复投票 — TejasKumar_ · 2026-10-26
- diginomica 周报:agentic 自动化被高估,agent 攻防「The Hackening」已开始 — jonerp · 2026-10-26
- 「氛围验证」研究：近 60% 的形式化证明证明的不是作者本意 — basedjensen · 2026-10-26
- Devin 推出安全工具线，由 Claude Mythos 驱动并送数亿美元额度 — DevinAI · 2026-10-26
- HackBench 发布：向 Agent 轨迹注入作弊，压力测试监控器 — DanielKhashabi · 2026-10-26
- HF Hub CLI 大更新:缓存去重省 19GB,GPU 任务可重试重跑 — yb2698 · 2026-10-26