单节点跑到千 tok/s 的智能体推理
JiaZhihao · x · 2026-07-16
Lithos 说他们的超低延迟 agentic inference 预览反响很大，几天内吸引了 100+ 公司、数千访客，因此把容量扩大，并把公开预览延长到下周末。 他们称，这套 agentic inference engine 在单个标准 8xB200 节点上为 Kimi K2.7 Code 提供服务，在编码工作负载上峰值可超过 **1,000 tok/s/用户**。
JiaZhihao · x · 2026-07-16
Lithos 说他们的超低延迟 agentic inference 预览反响很大，几天内吸引了 100+ 公司、数千访客，因此把容量扩大，并把公开预览延长到下周末。 他们称，这套 agentic inference engine 在单个标准 8xB200 节点上为 Kimi K2.7 Code 提供服务，在编码工作负载上峰值可超过 **1,000 tok/s/用户**。