IFScale 研究:20 个顶尖模型最多也只能遵循 68% 的指令
Decent-Conclusion-83 · reddit · 2026-11-22
上下文窗口能装几十万 token,但模型一次到底能遵循多少条指令?作者援引 IFScale 研究:给 20 个模型最多 500 条指令,表现最好的也只遵循约 68%。其他研究还显示,系统 prompt 的遵从度会随对话推进而衰减,连无关文本都会降低任务准确率。
开发者的日常体感与此吻合:往 CLAUDE.md 加规则后早期规则开始被忽略;对话变长后原始需求被遗忘;接几十个工具(很多从不使用)也会拉低质量。现有应对——缩短规则文件、任务间清空上下文、按需加载工具——都只是经验法则。
作者指出根本缺口:我们测量速度、token 成本、推理能力和上下文长度,却没有公认方法度量「指令遵循可靠性随负载增加如何退化」,无法比较两个模型的退化曲线,也无法预估某个 prompt 是否超出某模型的承载。
他主张把退化当作可测量属性:用定义单位表达负载、记录每条指令的结果、找出退化规律、带测量不确定度地给出模型极限。文章末尾介绍了其开源实验工具 IEC,代码与测量数据公开(HF 博客 + arXiv 论文)。
「模型」频道最新
- 密码学家警告:前沿 AI 数学能力已达破解密码门槛,成果或被保密 — rickasaurus · 2026-11-22
- 大雾中 FSD V15 提前识别行人刹车,车主称几乎救了一命 — yunta_tsai · 2026-11-22
- 蚂蚁系 inclusionAI 开源医疗大模型 LingSante-3.1-flash:560B 参数、百万上下文 — jacek2023 · 2026-11-22
- 博主盛赞 Inkling 2M:让我想起当年的 Mistral 7B — teortaxesTex · 2026-11-22
- Tesla FSD V15多伦多闹市实时感知演示引发热议 — gnukeith · 2026-11-22
- 本地实测 Inkling 2 mini:速度仅 Qwen 十分之一,任务屡屡失败 — Mrinohk · 2026-11-22