lm-eval 多选题评测踩坑：强指令模型不按格式答，regex 抓错字母

mancubus77 · reddit · 2026-11-05

发帖人在用 lm-eval 做领域多选题基准测试时遇到实际问题：prompt 明确要求「只回答字母」，大多数模型能遵守，但重度指令微调的模型经常忽略指令返回完整解释。此时 ([A-F]) 正则会抓取回答文本中出现的第一个字母——常常来自无关单词（如「designed」中的 D），导致评测结果实际比较的是「哪个模型碰巧把正确字母放得靠前」，而非领域知识本身。发帖人向社区求教成熟的解决方案。