长上下文测试质疑GPT-5.6退步
Pale-Entertainer-386 · reddit · 2026-07-13
作者用一个长上下文测试来质疑当前 LLM 评测过度依赖 IQ 式短题，认为这类 benchmark 容易掩盖真实使用中的理解与信息整合能力。 他的方法是：给模型一段高信息密度、结构复杂的长文档（示例为一篇 76 页论文），要求模型从全文中提取关键发现、定位来源并区分事实与推断，而不是只做摘要。作者声称，这种测试暴露出 GPT-5.6 相比 GPT-5.5 的回归。 文章还在尝试把这种方法整理成一个可复用的“长上下文研究能力评测”原型，但作者也明确说，目前只在单篇论文和少量模型上验证过，跨论文、跨模型的稳定性还需要进一步测试。