55.8 万次评测揭示:视觉语言模型在特定子任务上越放大越差
UniversityOfEdinburgh · hf · 2026-10-21
爱丁堡大学、帝国理工学院与 MiniLM.AI 的研究系统证实视觉语言模型(VLM)存在反向缩放(inverse scaling)现象:同家族中更大的模型在特定子任务上反而不如小模型。
- 评测规模:4 个模型家族共 19 个模型、8 个多模态基准(9 个评测划分),每模型回答 29,386 题,共计 558,334 次模型-问题评测
- 关键发现:通过逐题成对比较,识别出 375 个「小模型答对、大模型答错」的子任务-模型对,覆盖 3,432 个独特问题
- 反向缩放集中在空间推理与 STEM 问答等领域,且模式在独立开发的架构间可复现;找出 13 个跨家族一致的子任务-数据集组合
结论:scaling 并非在所有能力上单调有效,模型选型应按任务具体判断。
「模型」频道最新
- Claude Max 套餐每月含 100 美元 API 额度，截图还现 Opus 5.5 与 1M 上下文 — michalmalewicz · 2026-10-21
- OpenRouter 页面显示 GPT-6 Sol 跑分反超更大的 Luna，引社区疑惑 — tinteh · 2026-10-21
- Pichai 访谈完整视频上线：Argon 72 小时 25 万亿 token 用量细节 — rohanpaul_ai · 2026-10-21
- 「开源 AI」有多少水分？四级开放度框架实测三个模型 — alex_verem · 2026-10-21
- 上海AI实验室开源 Sage-A1.5：35B MoE 智能体模型可自审可并行探索 — Skyline34rGt · 2026-10-21
- 21 个 LLM 代码审查横评：近 8000 次审查，更高推理强度常降精确率 — Electrical_Walrus537 · 2026-10-21