自建 48GB 显存可跑的视觉问答基准:Qwen3.8-Flash-Next 领先

EmilPi · reddit · 2026-10-27

作者 EmilPi 发布了一个可在 48GB VRAM + 128GB RAM 及以下配置运行的小型视觉问答(VQA)基准,用于检验各家「自称 SOTA」模型的真实视觉理解能力。目前 Qwen3.8-Flash-Next 领先。

已知局限:包含立陶宛语和俄语 OCR 题,结果偏向擅长这两种语言的模型;任务数量还较少。

主要观察:

意外发现:

典型错误:markdown 格式输出错误、幻觉出泛泛的管理学内容;天文图题中部分模型把彗星认成流星或卫星。作者邀请大家在网站注册共建该基准。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →