Reddit 求助:如何在机密 GPU 上部署可验证的私有 AI 推理
Polstick1971 · reddit · 2026-10-13
一位开发者想在 MacBook Air M4 之外按需租用远程 NVIDIA GPU 跑开源视频模型,且要求真正的机密计算边界,而不仅是 HTTPS 或厂商口头承诺。
他想在发送私有输入前验证四件事:CPU/GPU 确实处于机密计算模式、部署的就是自己指定的推理工作负载、加密密钥归属于该已证明的工作负载而非中间方、服务商无法查看明文提示词和生成的视频。
他对比了三个方案:
- Chutes:RTX PRO 6000 96GB, $1.80/小时,提供 TEE 证明端点和端到端加密,但不确定标准客户端能否独立验证 attestation、自定义视频 worker 能否被完整证明
- VoltageGPU:RTX PRO 6000 Confidential VM,$3.80/小时,Intel TDX + NVIDIA attestation,正在等支持团队确认 measured boot 与自定义客户镜像
- Google Cloud:H100 Spot + dstack 或 Confidential Space,证明链更完整但复杂度更高
帖子征集有 Chutes、dstack 等机密 GPU 实战经验者的反馈,包括冷启动时间和真实成本。
「Infra」频道最新
- AMD 推出 Helion:面向 Agentic AI 的机架级 x86 CPU 算力方案 — BenBajarin · 2026-10-13
- transformers serve 新增 /v1/systemone 端点,让 LLM 免生成直接输出决策 — huggingface · 2026-10-13
- 本地AI项目 Actual 打造家庭级数据中心吞吐引擎 — markjeffrey · 2026-10-13
- 加拿大 BC 省开启五年基建热潮，千亿加元项目需 4.8 万工人 — 2C_ornot2C · 2026-10-13
- 谷歌 TPU 用满 7-8 年仍满载，挑战 AI 芯片三年贬值逻辑 — demian_ai · 2026-10-13
- 你的硬盘里藏着 AI 模型:Chrome 会下载 Gemini Nano 权重文件 — LearnWithBishal · 2026-10-13