NUS 提出 LLM2R：用 decoder-only LLM 一次前向完成 3D 零件装配

NationalUniversityofSingapore · hf · 2026-10-21

新加坡国立大学等机构的 LLM2R 把 3D 零件装配重构为序列建模问题：用 Point-BERT 编码器和 Q-Former 把每个零件压缩成几何 token 块，再用 LoRA 适配的因果 LLM 一次前向传播预测所有零件的 SE(3) 位姿。针对因果注意力只能看到前序 token 的问题，模型在每个零件块后附加可学习的 summary token 以聚合全局装配信息，再用 part-aware 位姿头预测每个零件的旋转与平移。单一架构可同时处理语义与几何装配，避免了以往成对关系或迭代生成-验证方法难以扩展到多零件对象的问题。