从业者谈自租 GPU 搭推理:Coop 可行,量化与投机解码仍是玄学
sloppenheimer · x · 2026-11-23
针对「推理服务商乱象下该不该自租 GPU 搭朋友合作社(co-op)」的提问,sloppenheimer 给出一线经验:- 其团队既服务自家模型也服务开源模型,坚持 ZDR(零数据保留),正针对 Blackwell 深度优化。- 反对任何不透明的手段,甚至在做对权重(含 specdec 草稿模型)做 TPM 签名。- 租 GPU 是否划算取决于饱和度:若不想跑满,可用快速启动弥补成本——预缓存权重、预编译 CUDA graphs、压低加载时间。- 好的量化仍是「艺术而非科学」,投机解码 / DSpark / DFlash 草稿模型同样如此。- Co-op 的难点远不止部署 sglang/vllm:大量时间花在高效 KV cache 动态、启动/恢复/自动扩缩、投机解码等工程上。
所属事件:从业者分享自建 GPU 推理合作社经验与隐私底线(2 条相关)→
「编程与Agent」频道最新
- 开源 Popfold:用 Claude Code 多会话造出滚动展开 3D 网页引擎 — cherichita · 2026-11-23
- 求职 agent 翻车修复复盘:幂等键+引文校验后 AUC 仍仅 0.645 — nivokvo · 2026-11-23
- 西门子与 AGIBOT 用智能体工作流从文本直接生成机械夹爪 — emmanuelvivier · 2026-11-23
- 4 台 DGX Spark 实测:DeepSeek 编码配 Opus 规划更快更好,GLM 尚不胜任 — AIFlow_ML · 2026-11-23
- 9美分做一条视频:用Claude+VidLab API的完整流程 — eptwts · 2026-11-23
- 网友喊话 Anthropic:公开 agent 攻克千禧年难题的完整对话轨迹 — _arohan_ · 2026-11-23