简化 prompt 让 GPT-5.4 从 93.5% 跌到 40.9%,基线更省 31 倍成本
dl_weekly · x · 2026-11-03
DL Weekly 本期刊登一篇关于「新颖性评审」任务的评测复盘，核心发现值得所有做 eval 的人警惕：
- Prompt 敏感性惊人：仅仅简化 prompt，就让 GPT-5.4 的成绩从 93.5% 暴跌到 40.9%——任务本身没变，措辞一改结果崩塌。
- 朴素基线反而更划算：一个普通的 Claude Opus 4.6 基线击败了为此任务专门构建的系统，单次成本仅 $2.59，对 $82.05，相差约 31 倍。
文章结论是典型的「评测警示录」：复杂的多模型系统未必优于一个调好的基线，而 eval 结果对 prompt 措辞高度敏感，任何 benchmark 报告都应交代 prompt 版本。
「模型」频道最新
- 开源模型集体超越11个月前的"前沿"水平，DeepSeek/GLM/Qwen 全面开花 — Hesamation · 2026-11-03
- Sebastian Raschka 盘点 10 月开源 LLM:一个月 10 种新架构 — rasbt · 2026-11-03
- Meta Muse Wonder 1.0 实测对比 DeepSeek V4.1 Flash：更快但留了两个真 bug — Richidm · 2026-11-03
- 开发者抱怨 Claude Code 今日严重变差,猜测新 Opus 即将发布 — hermanschutte · 2026-11-03
- Mistral 开放权重发布 ML4：代码 Agent 与网络能力达前沿，比 Preview 更小更高效 — _AndrewZhao · 2026-11-03
- 隐秘路由实测：Fable 5.5 与 GPT 6.2 Astra 画 PS5 手柄对比 — WaqarKhanHD · 2026-11-03