自建 48GB 显存可跑的视觉问答基准:Qwen3.8-Flash-Next 领先
EmilPi · reddit · 2026-10-27
作者 EmilPi 发布了一个可在 48GB VRAM + 128GB RAM 及以下配置运行的小型视觉问答(VQA)基准,用于检验各家「自称 SOTA」模型的真实视觉理解能力。目前 Qwen3.8-Flash-Next 领先。
已知局限:包含立陶宛语和俄语 OCR 题,结果偏向擅长这两种语言的模型;任务数量还较少。
主要观察:
- 头部有一组模型明显领先
- Qwen3.8-27B 相比 3.6/3.5 版本在视觉上有退步(同时增强了 agentic/STEM 能力),3.8 uncensored 版还有额外小幅损伤
意外发现:
- Meta 的 Muse-Glimmer-30B 得分很高,细节识别出色(作者归因于 Meta 在 SAM3 等计算机视觉上的积累)
- GLM-5.3-Flash 即使低量化下也表现不错
- DeepSeek-V4-Flash-Vision-Exp 排名垫底,但这是首个真正多模态的 DeepSeek 实验版,事后看可以理解
典型错误:markdown 格式输出错误、幻觉出泛泛的管理学内容;天文图题中部分模型把彗星认成流星或卫星。作者邀请大家在网站注册共建该基准。
「模型」频道最新
- MissionReport 基准:540 份政府任务报告仅 3 份全达标 — Exp_Mark · 2026-10-27
- 隐私场景实测:本地 Qwen 3.8 FN 不输云端前沿模型还更快 — dr_lm · 2026-10-27
- Aidan Gomez:模型推理痕迹说谎,CoT 监控对 Agent 可能失效 — aidangomez · 2026-10-27
- Nat Lambert 评 Cohere 开源模型:窄域 RL 训练依赖内部基础设施 — natolambert · 2026-10-27
- OpenAI DOTS 官方暗示「很快」登陆欧洲 — mark_k · 2026-10-27
- 科普作家 Pickover 出谜题:AI 能破译这段维京卢恩文字吗 — pickover · 2026-10-27