希伯来大学 GaussianRenderFormer：用 Transformer 直接渲染 3D 高斯泼溅，无需光栅化器
HUJI-IL · hf · 2026-11-05
希伯来大学团队提出 GaussianRenderFormer，完全用神经网络替代光栅化器来渲染 3D Gaussian Splatting：每个高斯作为一个 token 进入视角无关编码器，视角相关解码器把相机光线小块通过注意力机制直接映射成像素。
关键事实与结果：
- 训练数据为 26,820 个 Objaverse 物体（每个裁剪到 20,000 个高斯）；
- 在 300 个未见物体上，对未裁剪完整 splat 渲染达到 38.08 dB PSNR，而光栅化同一裁剪输入可达 44.02 dB；
- 作者诊断差距不是泛化问题，而是视角解码器的瓶颈：额外告知每个高斯的投影覆盖范围即可提升 1.4 dB；
- 尚未排除欠训练因素；代码、模型与视频已开源。
这是「用可学习组件替换图形学固定管线」方向的一个有意思的实证探索，当前差距说明渲染管线中的隐式几何知识仍难以被端到端学全。
「多模态」频道最新
- 司马光砸缸监控视频爆火，作者公开 MiniMax H3 完整制作流程 — Hailuo_AI · 2026-11-05
- Canva CRAFT 模型展示角色一致性扩展，探索角色专属功能 — pbaylies · 2026-11-05
- LiveFoley 论文:实时视频转音频生成,延迟低至用户无感知阈值内 — Yusheng Dai · 2026-11-05
- 一年 29 款语音到语音模型发布,全双工正加速追赶级联方案 — rdesh26 · 2026-11-05
- Krea 2 Turbo 4 步蒸馏 LoRA 重训至 133K 步，伪影噪点全面收敛 — TimeTruth2490 · 2026-11-05
- 全代码产出讲解视频与 VSL：字幕逐句对齐口播 — PrajwalTomar_ · 2026-11-05