OctLLM 用八叉树显式编码 3D 几何,兼顾语言能力与空间结构
_akhaliq · x · 2026-10-05
论文提出 OctLLM,针对现有 3D 大语言模型的两个缺陷:一是把形状压缩进 latent codebook 或坐标文本,丢失了模型观察到的空间结构;二是靠微调底座模型获得 3D 能力,会覆写其通用语言能力。
方法要点:
- 几何以八叉树占据 token 的显式 3D 序列输入模型
- 完整八叉树序列随深度快速增长,OctLLM 通过随机清空倒数第二层节点并省略其后代来缩短序列,同时保持形状
- 得到更短、以坐标和深度为锚的稀疏序列
作者来自北大等机构(arXiv 2610.02388)。
所属事件:OctLLM用八叉树令牌统一3D与语言(2 条相关)→
「多模态」频道最新
- 用户用 Opus 做出劳力士机芯交互式3D学习工具,效果惊艳 — tristanbob · 2026-10-05
- 网友晒 Grok Imagine 创作成品,展示视频生成玩法 — tetsuoai · 2026-10-05
- 一条提示词让 Fable 生成中国 5000 年历史视频 — FuSheng_0306 · 2026-10-05
- VNCCS 3.2.0 发布:接入 Qwen Image 2.1 与 MiniMax H3 — AHEKOT · 2026-10-05
- UniMate 发布 3D 绑定骨骼模型，网友提议接入 ComfyUI — RazsterOxzine · 2026-10-05
- AI 歌曲《Close all the windows》制作全流程公开：提示词与 Midjourney 素材全放出 — Afinetheorem · 2026-10-05