开源模型 Mistral Large 4 刷 1273 道医学题:94% 正确率
MaziyarPanahi · x · 2026-10-31
Maziyar Panahi 用 1273 道 USMLE 风格医学考试题测试 Mistral Large 4(API 调用、固定 prompt、temperature 0),跑了 3 轮:1183 题全部答对,40 题部分答对,50 题全错——其中 46 题每轮都给出同一个错误答案。作者向医生群体发问:看到什么才放心让这样的模型参与诊疗?后续补充:即使在 temperature 0 下,两轮之间也有 44 题的答案发生了变化。
所属事件:Mistral Large 4 实测刷医学题答对 94%(2 条相关)→
「模型」频道最新
- Granite Switch 4.1.1 发布：像更新软件一样更新模型 — krvarshney · 2026-10-31
- Mistral 开源新模型 Le Chonk：开源模型登顶 FrontierCode，网安能力获五厂商实测 — tensorqt · 2026-10-31
- CS336 讲义详解 DPO：两答案概率相同也可有正偏好差，β 控制偏离幅度 — stanfordnlp · 2026-10-31
- 中国电信 Xing4.0-29B MoE 模型获 ik_llama.cpp 原生运行支持 — Any_Bus9205 · 2026-10-31
- Abacus AI 推出提示词生成定制 LLM：号称小场景超越前沿模型、便宜 10-100 倍 — bindureddy · 2026-10-31
- 知情人士：OpenAI 下周大概率发布超强力模型 — imjustnewatai · 2026-10-31