Ripple-65B 单卡 DGX Spark 实测:代码 20.5 tok/s,散文仅 7.6
DZhang50 · x · 2026-11-06
Joey 把 Ricursive AI 的 Ripple-65B Preview 跑在一台 DGX Spark 上(NVFP4 权重 + DFlash2 BF16 draft,128K 上下文),接入 Hermes agent 与 DeepSeek Harness,流式和工具调用均正常。三次实测端到端速度:代码 20.5 tok/s、编辑 26.6 tok/s、散文仅 7.6 tok/s——代码与散文差距明显。
DFlash2 作者之一 Dzianis Zhang 回应解释了原因:他们的 drafter 主要用多轮代码数据训练,以加速 eval 和 RL,所以散文加速慢并不意外。Joey 还试了 vLLM backport 和更短 draft block,各有输赢,暂未找到稳定提速方案,仍用原 SGLang 配置。
「Infra」频道最新
- Zyphra 发布 ZHA 树状稀疏注意力,35B 模型只查 1-6% KV 缓存 — burny_tech · 2026-11-08
- llama.cpp 合并新 PR:MoE 未命中专家可直接在 CPU 上跑 — QuixiAI · 2026-11-08
- DGX Spark 价格开始下探 — AIFlow_ML · 2026-11-08
- MOSS-Image 5B 完整跑进手机 NPU:骁龙 8+ 出 512x768 图约 30 秒 — shirosoro · 2026-11-08
- OpenRouter 上 72% token 已由开源模型处理,企业该备好降级方案 — shashib · 2026-11-08
- CoreWeave CEO:一座数据中心年用水量仅相当于一家甜甜圈店 — aronchick · 2026-11-08