机密计算跑 vLLM 实测:GPU 满速、加密 NVLink 645 GB/s,一个环境变量救默认配置
kbesplv · reddit · 2026-10-26
warmctl 团队在不信任 neocloud 的前提下实践「私有 AI」:在 RTX PRO 6000 和 8×B300 上以机密计算(Confidential Computing)模式运行 LLM 推理,并给出实测数据与踩坑记录:
- GPU 可跑满全速
- CPU↔GPU 桥约 18 GB/s
- 加密 NVLink 达 645+ GB/s
- 关键坑:vLLM 默认配置在机密模式下输出「静默乱码」,一个环境变量即可修复
背景是 2026 年 10 月云与 AI 平台接连发生数据泄露,作者主张对 neocloud 采取零信任姿态,用机密计算保证 prompt 与权重在使用中不落明文。详见其博客。
「Infra」频道最新
- 长鑫 HBM3E 两个月内小批量投产,良率仅20%性能接近上代 — zephyr_z9 · 2026-10-28
- 视频转写成本曝光：GPU 识别每小时不到一块钱 — huangyun_122 · 2026-10-28
- 裸片+金柱互连+浸没冷却：一款被遗忘的超级计算机设计 — jwt0625 · 2026-10-28
- Reddit 预测明年 GPU 将大降价：算力泡沫正走向破裂 — sayamss · 2026-10-28
- Karpathy 力荐：从单个晶体管讲到完整 CPU 的科普视频系列 — blaizedsouza · 2026-10-28
- GPU 闲置一小时都在烧钱：Spot 利用率低于 60% 即亏损 — FinanceYF5 · 2026-10-28