Ai2 评测细节：GPT-5.4 判人类点子更新的比例随问法从 93.5% 跌至 40.9%
allen_ai · x · 2026-10-28
Ai2 新颖性评测的后续发现：在人类-人类配对中，GPT-5.4 被问「哪个点子被评审认为更新颖」时 93.5% 选对人类点子，但直接问「哪个更新颖」时比例跌至 40.9%。提示词改动对帮助某个评委的同时可能损害另一个，增加推理或提供相关论文也不总能改善结果；两个专门构建的新颖性评委甚至不如简单的 Claude Opus 4.6 提示基线（85 分 vs AI-Scientist 77 分、Idea Novelty Checker 64 分）。
所属事件:Ai2 发布新颖性评审基准：LLM 评审结论随问法剧烈摇摆(10 条相关)→
「模型」频道最新
- Meta 开源级翻译系统 Omnilingual MT 覆盖 1600 种语言 — kalyan_kpl · 2026-10-28
- LFM3-1.7B 无审查 GGUF 权重上线 Hugging Face — kalyan_kpl · 2026-10-28
- OpenRouter 周token量一年涨27倍至165万亿，开放模型占72% — FinanceYF5 · 2026-10-28
- 曝特斯拉 Optimus 数据采集：40 相机动捕服三班倒运转数月 — Scobleizer · 2026-10-28
- FrontierMemory 基准榜：Letta Dream 得 73.3% 居首，超 OpenAI 与 Claude agent — afurgs · 2026-10-28
- xAI 疑更名 SpaceXSI,官网上线 Grok 4.7 与统一多模态 API — RachelVT42 · 2026-10-28