ComfyUI 开源 CLSS:16GB 显卡流式生成无限长音视频,DiT 算力省一半
nazgut · reddit · 2026-10-01
Reddit 用户 nazgut 发布了 CLSS(Closed-Loop Streaming Synthesis)的大规模更新,围绕 H3 模型实现任意长的音视频流式生成——H3 单次只能出 5–15 秒,CLSS 用重叠分块接续生成并在交接处控制漂移,不改权重。整套方案可在 16GB 显存卡上跑:int8 DiT、用约 5.5GB 的 Qwen3-VL-4B 替代 15.7GB 的 32B 文本编码器、832×480、约 10 秒分块窗口,作者在 16GB RTX 3080 笔记本上实测。
本次新增的主要能力:
- 多场景提示:每场景一个 prompt(--- 分隔),按比例分配时长,边界两步交叉淡入,globaltext 全场景共享。
- R2V 引用:每场景可绑定图像/音频锚点(<Picture N> / <Audio N>),音频自动切成每场景精确窗口;<Video k> 视频引用自动重采样到 24fps 且自带原声。
- i2v:首帧引导帧钉为 H3 关键帧。
- 音频连续性套件:精确到采样的接缝、波形刷新续写、接缝钉扎(take 穿过接缝生成)、导出期响度锚定(不回灌进条件链)、等功率接缝淡入淡出,以及循环守卫(检测 vamp take 并重掷)。
- 续写与重编辑:从已保存的帧/音频恢复运行,或原地重建单个分块。
- 逐分块神经放大:流式 latent 上采样,低清状态不出显存。
- Spectrum 隐状态预测(CLSSH3SpectrumForecast):改造自 Spectrum 论文,预测步完全跳过 DiT 堆栈,6 步 turbo 分块变成 A A F A F A,约省 50% DiT 计算。
- 16GB 加固:采样前卸载全部模型防 OOM、运行时开启 CUDA 可扩展段。
作者还复盘了最耗时的音频章节:约 2dB/分块的响度泄漏、混叠视频引用等问题逐一修复。仓库:https://github.com/nazgut/ComfyUI-MiniMaxH3-CLSS
「多模态」频道最新
- 不会画画的开发者用 Fable 5.2 四小时做出 14 章手绘风故事书游戏 — jradoff · 2026-11-16
- Seedance 生成地铁车厢动画片段,光影细节惊到 Reddit 网友 — Ok-Solution-7889 · 2026-11-16
- 推主用 AI 重制 1977 版《黑衣人》风格画面 — techhalla · 2026-11-16
- 3.5 亿人说的 Hinglish:Sarvam 模型打通印地英语语音 agent — itsOmSarraf_ · 2026-11-16
- 博主实测 Dreamina Marketing Studio:用 Seedream 5.0 Pro 一键生成产品广告 — socialwithaayan · 2026-11-16
- GitHub 热门设计 skill 作者揭秘:靠评审循环而非 prompt 做出好设计 — PrajwalTomar_ · 2026-11-16