Mistral Large 4 实测刷医学题答对 94%

开发者 Maziyar Panahi 用 1273 道 USMLE 风格医学考试题测试开源模型 Mistral Large 4,采用 API 调用、每轮相同 prompt、temperature 0 的固定设置,模型取得 94% 的正确率。他随后补充实测细节称,即便在 temperature 0 下,模型仍会在 44 道题上改变答案,显示其输出并非完全确定,引发对模型评测稳定性的关注。

2026-10-31 ~ 2026-10-31 · 2 条相关

• 开源模型 Mistral Large 4 刷 1273 道医学题:94% 正确率 — MaziyarPanahi · 2026-10-31
• 补充实测细节:Mistral Large 4 在 temperature 0 下仍改答案 44 题 — MaziyarPanahi · 2026-10-31