长上下文测试质疑GPT-5.6退步
Pale-Entertainer-386 · reddit · 2026-07-13
作者用一个长上下文测试来质疑当前 LLM 评测过度依赖 IQ 式短题，认为这类 benchmark 容易掩盖真实使用中的理解与信息整合能力。
他的方法是：给模型一段高信息密度、结构复杂的长文档（示例为一篇 76 页论文），要求模型从全文中提取关键发现、定位来源并区分事实与推断，而不是只做摘要。作者声称，这种测试暴露出 GPT-5.6 相比 GPT-5.5 的回归。
文章还在尝试把这种方法整理成一个可复用的“长上下文研究能力评测”原型，但作者也明确说，目前只在单篇论文和少量模型上验证过，跨论文、跨模型的稳定性还需要进一步测试。
「模型」频道最新
- Anthropic 称 Opus 5.5 单任务成本较 Opus 5 降约 40% — taufiqintech · 2026-10-26
- 27 家 AI 搜索接口横评:前 12 名只差 7 分,价格却差近 7 倍 — FinanceYF5 · 2026-10-26
- 现场幻灯片:OpenAI Dots 数周内登陆 EU/EEA 和英国 — testingcatalog · 2026-10-26
- OpenAI Codex 德国采用率曝光,Dots 欧洲上线引猜测 — testingcatalog · 2026-10-26
- 圈内涵争议：abliterated 模型并非「还原」，只是过度抑制后的脑损伤 — dhadfieldmenell · 2026-10-26
- dair-ai 发布 Cloudflare Clairic System One 抽取模型入门教程 — dair_ai · 2026-10-26