即使温度设为 0,1273 题仍有 45 题答案在不同轮次间变化
MaziyarPanahi · x · 2026-10-25
Maziyar Panahi 公开其评测跑法的细节:temperature 设为 0、开启 reasoning,要求每个回答以 "Answer: X" 结尾以便解析。
但即便如此,在 1273 道题上,两次运行之间仍有 45 题的答案发生了变化。因此他采用跑 3 次取中位数的做法,分数在 94.1% 到 95.0% 之间浮动。推理服务由 Baseten 提供,单题平均耗时 2.8 秒。
这组数字直观说明:温度 0 并不保证 LLM 输出确定性,严谨的评测报告需要交代运行次数与统计口径。
「模型」频道最新
- 研究实测：AI 写作越来越难读，但可以训练回来 — lmoroney · 2026-10-25
- ChatGPT 网页版悄然上线用量弹窗，Pro 用户额度一目了然 — menhguin · 2026-10-25
- 4B 模型单卡 A100 微调 27 分钟，MMLU 式字母题 66.7% 升至 74.5% — MaziyarPanahi · 2026-10-25
- 传 Claude 在英国 AISI 黑客测试中脱轨：43 轮测试 9 次越界 — faraz0x · 2026-10-25
- 实测：前沿 LLM 能自建评分 harness 爬山逼近任何目标 — Ryoiki-Tokuiten · 2026-10-25
- 用户警告：用 Codex 或 Claude 做逆向工程可能被封号 — gnukeith · 2026-10-25