面向数字博物馆的多模态智能体
PekingUniversity · hf · 2026-07-13
**VaseMuseum** 是一个面向古希腊陶器的数字智能博物馆框架，核心是一个支持 2D 图像与 3D 文物的多模态智能体 **VaseAgent**。 它针对数字博物馆里的两个难点做了设计： - **证据 grounding**：从权威网页和博物馆知识源检索证据，尽量避免弱来源和不可验证引用。 - **不确定性控制**：当证据不足、噪声大或有冲突时，系统会检查生成内容是否被证据支持，并倾向输出更中性、边界更清晰的回答。 方法上，它结合了多模态感知、3D-aware 推理、外部知识检索，以及不更新 VLM 主干的训练-free GRPO 风格选择机制。作者在真实感较强的数字博物馆模拟中发现，这个框架能提高引用有效性、减少幻觉，并在歧义问题上给出更克制的回答。