推理服务隐私细节:连用户间 KV cache 泄漏都要防
sloppenheimer · x · 2026-11-23
sloppenheimer 补充其推理服务的安全底线:坚持机密计算(confidential compute)+ TPM 签名 + ZDR,甚至执着于防止用户之间 KV cache 的泄漏——这是很多服务商从未考虑过的细节。对关注开源模型托管隐私的开发者是值得参考的选型标准。
所属事件:从业者分享自建 GPU 推理合作社经验与隐私底线(2 条相关)→
「Infra」频道最新
- MLX 修一个小 bug,Mac Studio 本地推理提速近 3 倍 — SumitGup · 2026-11-23
- 从业者谈自租 GPU 搭推理:Coop 可行,量化与投机解码仍是玄学 — sloppenheimer · 2026-11-23
- Nvidia 双面叙事:财报创纪录,同时深陷监管调查与治理风波 — emmanuelvivier · 2026-11-23
- Oracle 融资 200 亿美元加码 AI 基建,力撑 OpenAI 大单 — emmanuelvivier · 2026-11-23
- RX 6700 XT 跑量化小模型:分叉优化后 prefill 近千 tok/s — ireallydontcare00 · 2026-11-23
- 4 台 DGX Spark 实测:DeepSeek 编码配 Opus 规划更快更好,GLM 尚不胜任 — AIFlow_ML · 2026-11-23