独立团队论文:VQA 中 LLM 知识浅层融合反胜深层注入 7.6 个点
Aneerban Saha · hf · 2026-10-15
印度独立研究者团队的论文挑战「LLM 知识注入越深越好」的假设。作者用 Llama 3.3 70B 生成结构化推理引导、视觉焦点概念、干扰项与外部知识，在冻结 ViT + FLAN-T5 框架、OK-VQA 基准上系统对比两种整合策略：
- 浅层后期融合：39.4% exact match，比无引导基线高 10.0 个点
- 深层注意力矩阵注入：仅 31.8%
结论是整合深度必须匹配数据规模——小样本微调下浅层融合更优。团队还贡献了基于 LLM 的问题复述数据增强管线，将训练数据扩充十倍以上。
「研究」频道最新
- KAUST 论文揭示「思维泄漏」:无思考模式 RL 增益只是旧能力回放 — kaust-generative-ai · 2026-10-15
- EPFL 提出 COMPASS:对齐/合并前先算模型配对兼容性 — epfl-ch · 2026-10-15
- BERT 分词器提速 50 倍：88% 时间耗在文本规范化上 — LysandreJik · 2026-10-15
- LLM 智能体自主设计 SAR ADC 芯片:SKY130 上从原理图到 signoff 无需人工 — IgorCarron · 2026-10-15
- 伦敦 AI×科学黑客松爆满，研究者痛点直指老旧科学软件 — ersatzben · 2026-10-15
- Hannah Fry 专栏：OpenAI 解题潮让数学界陷入存在危机 — AnnaCiaunica · 2026-10-15