IFScale 研究:20 个顶尖模型最多也只能遵循 68% 的指令

Decent-Conclusion-83 · reddit · 2026-11-22

上下文窗口能装几十万 token,但模型一次到底能遵循多少条指令?作者援引 IFScale 研究:给 20 个模型最多 500 条指令,表现最好的也只遵循约 68%。其他研究还显示,系统 prompt 的遵从度会随对话推进而衰减,连无关文本都会降低任务准确率。

开发者的日常体感与此吻合:往 CLAUDE.md 加规则后早期规则开始被忽略;对话变长后原始需求被遗忘;接几十个工具(很多从不使用)也会拉低质量。现有应对——缩短规则文件、任务间清空上下文、按需加载工具——都只是经验法则。

作者指出根本缺口:我们测量速度、token 成本、推理能力和上下文长度,却没有公认方法度量「指令遵循可靠性随负载增加如何退化」,无法比较两个模型的退化曲线,也无法预估某个 prompt 是否超出某模型的承载。

他主张把退化当作可测量属性:用定义单位表达负载、记录每条指令的结果、找出退化规律、带测量不确定度地给出模型极限。文章末尾介绍了其开源实验工具 IEC,代码与测量数据公开(HF 博客 + arXiv 论文)。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →