新 ComfyUI 节点砍 Qwen3 编码器显存 5.5→3.2GB，输出逐位一致
Occsan · reddit · 2026-10-28
Flux2 Klein 实际只读取其 Qwen3 文本编码器的 3 个隐藏层（第 9、18、27 层），但标准加载器会构建并运行完整的 36 层模型加上最终 norm 和 LM head，且 ComfyUI-GGUF 加载时会把整个 token embedding 表反量化为 fp16。作者写了「Klein CLIP Loader (Pruned)」节点，只构建实际需要的部分：
- 只建 27 层，去掉 final norm 与 LM head
- GGUF token embedding 保持量化，仅反量化 prompt 对应的行
- 输出与 CLIPLoader (GGUF) 逐位一致（max abs diff 0.0）
实测（Qwen3-8B Q4KM，Klein 9B，RTX 4090，512-token 提示词）：TE 权重占显存 5.51→3.20 GB，编码峰值 5.97→3.62 GB，为 DiT/LoRA/旁挂 LLM 腾出约 2.3 GB——对 8GB 显卡可能决定是否需要 offload。安装：clone 仓库到 customnodes 后换用该加载器即可，仅需 ComfyUI-GGUF。
另外作者 profiling 时发现 ComfyUI 按引用数和大小而非重载耗时选择卸载模型，已提 PR 改为按实测重载时间排序，Klein+本地 LLM 工作流每轮 13.6s→6.7s（未合并）。
「Infra」频道最新
- 开发者用 EmbeddingGemma 2 搭实时嵌入端点：文本 20ms，全程只跑 MacBook CPU — generativist · 2026-10-28
- Nebius 实测:8 张 GPU 拆成 8 份跑 Cosmos,出片量多 42.5% — shashib · 2026-10-28
- AI 时代数据中心成安全新前线：网络与物理威胁加速融合 — ChuckDBrooks · 2026-10-28
- 开源工具 preowned 把 macOS 内置模型变成 OpenAI 兼容本地 API — pcuenq · 2026-10-28
- AMD MI355X 上跑出 2100+ tok/s，推理引擎协同设计削平协调税 — JiaZhihao · 2026-10-28
- LFM3-VL-2B 在浏览器内以 WebGPU 实现实时视频字幕 — xenovatech · 2026-10-28