Merve分享视觉模型微调实践：提升UI交互意图识别

MaziyarPanahi · x · 2026-08-12

开发者 @mervenoyann 发布了关于 Muse Glimmer 30B 模型的微调教程。该模型虽然在 ScreenSpot-Pro 基准测试中表现SOTA，但在处理类似“跳转到营养成分”等贴近真实电脑交互的模糊提示时表现不佳。

为此，她使用 TRL 在 AI2 的 MolmoWeb 数据集上对模型进行了微调，以提升其在实际 UI 交互场景中的表现。另一位开发者回复表示，将利用该代码在 Hugging Face 上微调 Glimmer，并探讨模型在遇到多个合理目标时是否能学会“停止并询问”，这对于临床 UI 等严谨场景至关重要。