vlens 开源:把 Qwen3-VL 隐层激活直接成像,再由同一模型读回验证
Sauers_ · x · 2026-11-02
开源项目 vlens 实现了一个有趣的「视觉自编码器」:将 Qwen3-VL-4B-Instruct 的隐藏激活(第 9、18、27 层 decoder 残差流,最后位置,共 7680 个数)直接转成图片,图像路径中不含任何文字;然后让同一个模型看这张图,对比新的激活与原始激活的平方误差。
技术要点:
- 图像生成用 FLUX.2 [klein] 4B(4 步蒸馏整流流模型),不给它任何 prompt 或词嵌入,由一个训练好的小 adapter 从激活计算全部条件输入
- 训练信号是「读回激活应与原激活匹配」的平方误差,两个大模型均冻结,只训 adapter
- 这相当于直接可视化语言模型隐状态里的「心理图像」,并用同一模型闭环验证保真度
「多模态」频道最新
- AI 生成 Tom Brady 悬浮夜空系列图,超现实质感惊艳 — egeberkina · 2026-11-02
- 实测 Claude+Blender MCP 把 1.5 公里 3DGS 场景转成可建模资产 — nptacek · 2026-11-02
- 18M 参数开源 TTS 模型 Silencio-2:CPU 上 20 倍实时,支持情绪与音效标签 — N1kuson · 2026-11-02
- Midjourney 复古胶片感 prompt:长曝光+漏光参数实测出片 — michaelrabone · 2026-11-02
- Reddit 网友分享 AI 短片《3008 vs Hal 9000》:致敬经典科幻 — LordFreeza001 · 2026-11-02
- AI 一键生成可漫游 3D 社区规划:84 套住宅 7 种户型 — NathanSRobinson · 2026-11-02