12 个开源模型同答医学考卷，全对却与标准答案相左

博主 MaziyarPanahi 将一份医学考试卷交给 12 个顶级开源模型测试，每题运行 3 次共 36 次作答。结果显示模型整体得分落在 92.8%–96.4% 区间，Kimi K3 领先，单卡即可运行的 Qwen3.8 27B 跑出 94.5%。在孕 32 周、破水约 26 小时并出现宫缩的产科题上，12 个模型 36 次作答完全一致，却与官方给定的标准答案（剖宫产）相左，引发对试题答案本身及模型真实水平的讨论。

2026-11-03 ~ 2026-11-03 · 2 条相关