DeepSeek 开源模型做 3 次医学考试，51 题答案不一致时思考长 12 倍
MaziyarPanahi · x · 2026-10-26
Maziyar Panahi 对 DeepSeek 开源模型（DeepSeek-V4.1-Flash-1017，MIT 协议，Baseten 托管、开启推理）做了稳定性实验：同一套 1273 道 USMLE 风格选择题，在 temperature 0 下重复测 3 次。
- 1222 题三次答案一致：思考 token 中位数 308，正确率 96.5%
- 51 题答案在多次运行间发生变化：思考 token 中位数 3867（约为前者的 12 倍），正确率仅 47.7%
结论：答案不稳定与「过度思考」高度相关——当模型在某题上思考时间异常拉长时，往往正是它不确定、易出错的地方。作者半开玩笑地提出：模型开始 overthink 时或许才需要叫医生，但这个信号本身可作为置信度的廉价代理指标。
「模型」频道最新
- 8GB 显存跑 125B 模型：Strata 分布式推理实测 900 t/s 预填充 — BleynSpecnaz · 2026-10-26
- Hugging Face 老牌达人补遗：本地 AI、扩散模型与 kernels 方向关注谁 — ariG23498 · 2026-10-26
- Hugging Face 值得关注的 9 个技术方向达人清单 — ariG23498 · 2026-10-26
- 陶哲轩称 OpenAI 曾因竞速 Anthropic 解千禧难题进入 Code Red — Hesamation · 2026-10-26
- LoopUno:52 分钟 LoRA 训练让 3B 模型每步出 2 个 token 且无损 — LucaAmb · 2026-10-26
- OpenAI 传下调企业价格，用户吐槽额度缩水转投他模型 — teortaxesTex · 2026-10-26