从业者谈自租 GPU 搭推理:Coop 可行,量化与投机解码仍是玄学

sloppenheimer · x · 2026-11-23

针对「推理服务商乱象下该不该自租 GPU 搭朋友合作社(co-op)」的提问,sloppenheimer 给出一线经验:- 其团队既服务自家模型也服务开源模型,坚持 ZDR(零数据保留),正针对 Blackwell 深度优化。- 反对任何不透明的手段,甚至在做对权重(含 specdec 草稿模型)做 TPM 签名。- 租 GPU 是否划算取决于饱和度:若不想跑满,可用快速启动弥补成本——预缓存权重、预编译 CUDA graphs、压低加载时间。- 好的量化仍是「艺术而非科学」,投机解码 / DSpark / DFlash 草稿模型同样如此。- Co-op 的难点远不止部署 sglang/vllm:大量时间花在高效 KV cache 动态、启动/恢复/自动扩缩、投机解码等工程上。

所属事件:从业者分享自建 GPU 推理合作社经验与隐私底线(2 条相关)→

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →