独立研究者提出指令容量度量:GPT-4o mini 约能稳守 37 条规则
Hennadii Kutomanov · hf · 2026-10-30
独立研究者 Hennadii Kutomanov 发布论文《Instruction Capacity》,提出用「原子替换规则」构建统计工具来度量语言模型在受控负载下的指令遵循能力:每条规则要求把文本中的单词做无语义影响的单 token 替换,规则相互独立且结果可计算验证,每次替换成为已知位置的伯努利试验。统计模型拟合正确替换概率随文本长度、词位置、替换密度、规则数量的变化,从而给出带不确定度的「指令容量」。实测 GPT-4o mini 在 95% 准确率下约能同时遵守 37–38 条规则。这为「模型负载增加后指令遵循退化」提供了可量化的表达。
「模型」频道最新
- Gemini 4 Carbon 登顶全球第一,Anthropic S-1 财报数据全解 — altryne · 2026-10-30
- 爆料人晒对比图:OpenAI 两天内照搬其 ChatGPT 短信功能建议 — flowersslop · 2026-10-30
- 首个全本地浏览器 Omni 模型:LFM3-Omni-2B 达 280 tok/s — victormustar · 2026-10-30
- ChatGPT 订阅页现隐藏提示:12 月起各产品将实行共享用量上限 — btibor91 · 2026-10-30
- Grok 4.7 成 AA 评测谄媚度最低模型,三版迭代 Slop 分从 68 降至 6 — XFreeze · 2026-10-30
- Epoch AI 实验:GLM 5.3 可自主利用未修复漏洞攻破六个版本的 Firefox — Miles_Brundage · 2026-10-30