普林斯顿研究:扩散模型基本视觉技能外推有限,计数仅约50%
NielsRogge · x · 2026-11-23
普林斯顿研究者 Amish Sethi、Boya Zeng、Wenhao Chai、Zhuang Liu 等发布论文《Do Diffusion Models Learn to Generalize Basic Visual Skills?》(arXiv:2611.22427),提出受控实验框架 Visual Generative Lab(VGL),用规则生成合成数据从零训练扩散模型,精确测量其对尺寸、位置、旋转、数量、颜色、形状等基本视觉技能的泛化能力——这是 FID、IS 等分布级指标和 prompt-following 基准无法回答的问题。
核心发现:
- 外推能力有限:尺寸与位置在训练范围外几个像素内即明显退化;超出训练范围的数量任务准确率仅约 50%;旋转外推在不同随机种子间差异极大。
- 组合泛化:出现过的不同基本技能组合数量比数据集规模更重要。
- 技能失败大多相互独立,位置除外。
论文指出当前评估无法区分模型是真正学到视觉技能还是主要拟合训练模式,代码与数据生成脚本已在 GitHub 开源。
「多模态」频道最新
- 用 Gemini Neon 打造可探索 3D 人眼模型,60fps 演示视觉原理 — Scobleizer · 2026-11-23
- AI 把悟空放进真实世界,物理与光影真实到难以分辨 — heypearlai · 2026-11-23
- FaceRefine Plus v0.2.0:MiniMax H3 视频人脸修复提速 2.7 倍 — AnniCodex · 2026-11-23
- 「会聊天的杂志」Anima Artifacts 概念验证亮相 — alexcovo_eth · 2026-11-23
- 五晚八小时/次:把真实 F1 圈速数据变成 AI 视频的踩坑实录 — BittiAI · 2026-11-23
- Reddit 用户公开开源 4K 逼真视频三段式工作流全参数 — Grinderius · 2026-11-23