探讨小模型评测：选择题测试易作弊
mervenoyann · x · 2026-07-14
AI 研究员 Merve Noyant 指出，在评估大模型时，多数多选题评测（MCQA）实际上容易让模型“作弊”：即使模型陷入循环或胡言乱语，多选题的选项结构也能帮助其梳理并锚定答案。因此她更倾向于喜欢研究小模型，并强调进行“氛围测试”（vibe test）的重要性。
「研究」频道最新
- Nature Physics 论文：可重构折射率实现对多模波传播的任意控制 — MarioKrenn6240 · 2026-10-27
- Wakaru 开源 ontologize:用模型激活为数据集自动生成本体标签 — amplifiedamp · 2026-10-27
- EMNLP Oral 论文用跨层转码器揭示 LLM 多语言共享表征机制 — ZhijingJin · 2026-10-27
- Ethan Mollick用GPT-6 Pro复刻研究：GTA V发售与多地暴力犯罪下降相关 — emollick · 2026-10-27
- OpenAI战略探索负责人访谈：从 Stanford 博退学到扩散LM与o1之路 — aaron_lou · 2026-10-27
- CLT-Forge 开源:训练跨层转码器解码 LLM 计算图 — ZhijingJin · 2026-10-27