从业者分享自建 GPU 推理合作社经验与隐私底线
针对推理服务商乱象下是否该自租 GPU 搭建朋友合作社的问题,从业者 sloppenheimer 分享一线经验:其团队既服务自家模型也服务开源模型,坚持零数据保留(ZDR)原则。在安全细节上,团队坚持机密计算加 TPM 签名,甚至致力于防止用户之间的 KV cache 泄漏,展示了自建推理服务的可行性与安全底线。
2026-11-23 ~ 2026-11-23 · 2 条相关
- 从业者谈自租 GPU 搭推理:Coop 可行,量化与投机解码仍是玄学 — sloppenheimer · 2026-11-23
- 推理服务隐私细节:连用户间 KV cache 泄漏都要防 — sloppenheimer · 2026-11-23