从业者分享自建 GPU 推理合作社经验与隐私底线

针对推理服务商乱象下是否该自租 GPU 搭建朋友合作社的问题,从业者 sloppenheimer 分享一线经验:其团队既服务自家模型也服务开源模型,坚持零数据保留(ZDR)原则。在安全细节上,团队坚持机密计算加 TPM 签名,甚至致力于防止用户之间的 KV cache 泄漏,展示了自建推理服务的可行性与安全底线。

2026-11-23 ~ 2026-11-23 · 2 条相关