OctLLM 用稀疏八叉树令牌统一 3D 与语言,免微调主干刷新 SOTA
Ran Dan · hf · 2026-10-05
现有 3D 大语言模型有两处妥协:把形状压成潜码索引或坐标文本,丢失空间结构;且通过微调主干获得 3D 能力,损伤通用语言能力。OctLLM 同时解决这两个问题。
- 几何以八叉树占据令牌的显式 3D 序列输入;为控制序列长度,随机清空倒数第二层节点并省略后代,得到保持形状的稀疏八叉树(S-Octree),用于位置感知的掩码建模生成与 3D 理解。
- 3D 能力放在与预训练参数分离的可训练分支上,文本/图像令牌走冻结的视觉-语言通路,两流通过共享自注意力交互,训练参数远少于全量微调。
- 在统一多模态 LLM 中刷新 SOTA:图生 3D FID 较 ShapeLLM-Omni 降低 17.4%,渲染接地描述提升 28.7 分,同时通用语言基准与主干持平。
所属事件:OctLLM用八叉树令牌统一3D与语言(2 条相关)→
「多模态」频道最新
- UniMate 发布 3D 绑定骨骼模型，网友提议接入 ComfyUI — RazsterOxzine · 2026-10-05
- AI 歌曲《Close all the windows》制作全流程公开：提示词与 Midjourney 素材全放出 — Afinetheorem · 2026-10-05
- OctLLM 用八叉树显式编码 3D 几何,兼顾语言能力与空间结构 — _akhaliq · 2026-10-05
- Gemma 31b「Grand Horror」+ H3 生成恐怖短片引围观 — jrexthrilla · 2026-10-05
- EditHero:首个长程部件级 3D 编辑基准,对比两种编辑路线 — _akhaliq · 2026-10-05
- Suno + KlingAI 打造斯洛伐克语说唱 MV「Stoka Roka」 — Jazzlike_Animator_70 · 2026-10-05