SIMIT：视觉语言模型测试时自我想象练习题实现无标注自提升
dtudk · hf · 2026-11-03
DTU 与哥本哈根大学提出 SIMIT，一种测试时自改进框架：VLM 在回答无标注测试问题前，先自己生成 query 相关的训练数据来提升表现，无需标注或外部模型。
与靠更长推理或多数投票的方法（不改变模型）不同，也不同于基于多候选一致性奖励的模型更新（可能强化已有错误），SIMIT 的思路是「想象」自己掌控答案的相似题目：模型无需正确解答目标问题，只需合成多样化的（图像、问题、答案）三元组作为练习例，并结合原生图像生成与可扩展技能库支持文档、图表等结构化视觉任务，多阶段验证检查图像与答案的匹配度。
「研究」频道最新
- 在 LLM 内部模拟 GPU 训练神经网络：XOR 任务 40 步从 53% 到 98.8% — zeeshanp_ · 2026-11-03
- QLink 核心洞察：一个模型的 store 就是对另一个模型的合法内存写 — zeeshanp_ · 2026-11-03
- 4 个 QwenGPU 集合通信结果与真实 NCCL 逐位一致 — zeeshanp_ · 2026-11-03
- 神操作：把 GPU 编译进 Qwen 权重，用模型解码跑 CUDA 内核 — zeeshanp_ · 2026-11-03
- BLAIR 基准评测 11 个 LLM 做推荐编码器,并开源 571M 条亚马逊评论数据集 — burkov · 2026-11-03
- UT Austin 等五校联合发布 LLM 驱动的智能体图形学综述 — UTEXAS · 2026-11-03