65B 模型塞进单卡：Ripple 65B NVFP4 在 SGLang 上的部署配方
HankYeomans · x · 2026-11-09
作者分享了在 SGLang（及 vLLM）上运行 Ricursive AI 的 Ripple 65B Preview 模型的完整配方，开源在 GitHub。
配置要点：
- 使用 NVFP4 量化 checkpoint：MLP 层用 FP4，attention、embeddings 和 LM head 保持 BF16
- SGLang 0.5.19，tensor parallel = 2，两张 RTX PRO 6000 Blackwell（各 96GB）；作者称经过此优化单卡也能跑下
- 启用 DFLASH 投机解码，draft 长度 32 tokens
- 仓库附带 start/stop/bench/doctor 等脚本与配置 profile，含上下文设置、TP 与 KV 量化参数
作者预览了 65B 规模模型在编码任务上的表现，认为其可对标更大模型。
所属事件:Ripple 65B 模型单卡部署配方开源分享(2 条相关)→
「Infra」频道最新
- Nvidia 位居 SPY 第二大持仓，却是某只 SPY 内最大持仓 — dr1337 · 2026-11-09
- OpenAI CFO 表态:数据中心扩张不会放缓,将继续重视当地社区关系 — i_dg23 · 2026-11-09
- 92 万亿 token 除以 154 万日活，agent 时代的算账之争 — teortaxesTex · 2026-11-09
- 数据中心新增容量环比腰斩，Gary Marcus 力挺 Ed Zitron「AI 业在撒谎」论 — GaryMarcus · 2026-11-09
- 分析师：黄仁勋若因安全或出口违规离职，英伟达股价恐跌破155支撑 — GaryMarcus · 2026-11-09
- 德州州长候选人承诺暂停所有数据中心审批，选址风向或生变 — Traditional-Chip8339 · 2026-11-09