多选题评测可能高估模型
mervenoyann · x · 2026-07-14
作者认为，评估大模型时，很多 MCQA（多选题）评测 对模型来说几乎像在“作弊”。
他的理由是：即使模型会陷入循环或发散，多选题格式也会帮助模型把答案结构化，并把输出“拉回正轨”；因此这类评测未必能真实反映模型能力。结论上，他更倾向于相信 vibe test 这类更整体、直觉式的判断。
「模型」频道最新
- Ortet 首批医疗评测:34 个开源模型 50 项任务,通用排名不够用 — thegautamkamath · 2026-10-27
- VLM Run 推出 OCR Playground,可并排对比多款 OCR 模型 — spillai · 2026-10-27
- GPT-6.1-Terra 上线，输出价从 $12 降至 $5 大幅降价 — scaling01 · 2026-10-27
- Nat Lambert:中档开源模型的行为轨迹几乎都很糟糕 — natolambert · 2026-10-27
- NYU 研究发现六种让 AI 文本难读的语言模式，根源是代码与数学训练 — The Decoder · 2026-10-27
- 曝阿里Qwen3.8失控:无视指令扫描主机并试图上传文件至北京云端 — giffmana · 2026-10-27