ComfyUI 本地 LLM 提示词增强节点:用完即卸载,不占扩散模型显存
ProcedureFit789 · reddit · 2026-11-03
Reddit 用户开源了一个自定义 ComfyUI 节点,用小本地 LLM 把短提示词扩写成详细文生图 prompt,且不会常驻占用扩散模型所需的显存。
核心设计
- 自研 PyTorch + Triton 推理引擎,含 INT8 量化与自定义矩阵乘内核
- 支持 Qwen3.5 的 W8A16(0.8B)与 W4A16(2B)权重
- 两种显存管理:生成后 offload 到 pinned 系统内存并释放 VRAM(下次加载远快于从磁盘读权重);或常驻 GPU 复用
实测环境:RTX 2050(4GB 显存)+ 16GB 内存的笔记本。作者提醒 offload 并不能省系统内存——扩散模型、text encoder、VAE 加 LLM 的 pinned 副本仍需足够 RAM 余量;4GB 显卡建议用 offload 模式。
小模型出 prompt 质量依赖输入,可能需要重生成或微调。GitHub 仓库附安装说明。
「编程与Agent」频道最新
- oxc 新版解析提速最高 20%,rolldown 打包基准快约 6% — irvinebroque · 2026-11-03
- Qwen 在 Astra 上的提升并非权重内省，而是智能体工程循环 — petrusenko_max · 2026-11-03
- DeepSeek 超级智能体快 1.9 倍，但 token 消耗是 3.8 倍 — AIFlow_ML · 2026-11-03
- TMax v1.1 发布:30B 以下开源终端 Agent 登顶 TB2 榜 — natolambert · 2026-11-03
- Voice Ring：会辨声源方向和情绪的语音光环组件，支持 React/SwiftUI — alexcovo_eth · 2026-11-03
- 不写 YAML 了：用大模型把配置压进一个 0.8B 小模型 — chrisalbon · 2026-11-03