TEE路由器将GPU空闲降50%

bgmshana · x · 2026-07-10

作者表示，私有 LLM 的不稳定和可用性差，主要原因不是 TEE 本身，而是生产推理系统的复杂性。团队新加入了一个在 TEE 中运行的、感知缓存的动态 LLM 路由器，称其至少减少了 50% 的无效 GPU 空闲时间。