推理服务隐私细节:连用户间 KV cache 泄漏都要防

sloppenheimer · x · 2026-11-23

sloppenheimer 补充其推理服务的安全底线:坚持机密计算(confidential compute)+ TPM 签名 + ZDR,甚至执着于防止用户之间 KV cache 的泄漏——这是很多服务商从未考虑过的细节。对关注开源模型托管隐私的开发者是值得参考的选型标准。

所属事件:从业者分享自建 GPU 推理合作社经验与隐私底线(2 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →