Articulation Upper Bounds for Language Models
Alexander Spangher, Daniel E. Ho, Diyi Yang, Noah Goodman, Sanmi Koyejo
cs.AI, cs.CL, cs.LG
2026-10-14
斯坦福用ε-estimation同预算把prompt优化最多抬高14%,1270个概念里仅65个换更大模型仍传不出。
Rubric 和 constitution 都默认，概念写成句子，另一个模型就能照着做。评判模型给 agent 打分，Constitutional AI 用原则约束行为，信息只走文字。句子工整，只说明发送方会打标签，不说明接收方恢复了同一条规则。
斯坦福把两件事拆开。Performance 是有标签数据上的分数，混着 prompt、能力和背景知识。Articulability（可表达性）只问概念有多少能靠文字搬走。共享背景越少，概念越难点认，可表达性越低。有的是词没找对，有的是通道到不了。不分开这两类，把 rubric 写长没有用。
三步：把消息优化到搜索尽头，看接收方能否复原规则，再看能力变大后传递是继续爬、到顶，还是提前停住。
ε-estimation 估计 prompt 上界。GEPA、MIPRO 能改好 prompt，但不估没搜到的成绩。原子叫 unit，加进 prompt 后能重复、显著改变行为的最短字符串，例如「用词精简」里的 no filler words。候选来自网上检索、向模型索要和 GEPA 轨迹，效应不大于零就丢，其余拆到再拆无效。语气和人设进不了这个空间，所以上界只对这套采样成立。
拼法是两轮贪心：按边际收益加，不涨就撤回；删掉不掉分的；捡回后来变有用的。子模比约等于 1，合在一起很少优于逐个加。未见 unit 用捕获-再捕获计数，这个数偏低，是种类数的下界，价值曲线再外推过去。置信水平 δ 默认 0.05。
传递用重建瓶颈。发送方打 0/1，接收方只看文本和标签、写回 prompt，再由发送方用新 prompt 标留出样本，算两套标签的互信息。直接比措辞会虚高。互信息与 balanced accuracy 的 Spearman 相关为 0.83，整表反转只占 1.3%。接收方自己执行时，55 条准则从 0.052 bit 降到 0.040 bit，因此两套标签都由发送方打。
天花板是标签熵，加上 40 条代码可判分的埋入规则，例如有没有问号。只报告高于打乱标签和空模板的恢复。
缩放用 observational scaling law，不重新训练，只在已有模型上拟合。五个家族 14 个模型，1.2B 到 73B，两两担任两端，消息外推到无穷个 unit。能力指数 z 来自 240 道代码可核验题，与 OpenCompass 相关 0.64–0.67，去掉 Gemma-2-27B 后为 0.87。天花板的置信上界低于埋入规则，记 bounded；够高且已达到，记 reaches；还在往上走，记 rising。
同预算下，ε-estimation 比 GEPA、MIPRO 在 HotpotQA、HoVer、PUPA、AIME 上最多高 14%，IFBench 和 LiveBench 打平，没有基准显著更差。主文不给绝对分。向前 8 个 unit，上界误差中位数约 0.02。
| 对照 | 设置 | 结果 |
| GEPA、MIPRO | 同调用预算 | 四项最多 +14%，IFBench、LiveBench 打平 |
| 上界回测 | 向前 8 个 unit | 误差中位数约 0.02 |
| LLM critic | 优化目标改为重建 | AUC +0.033，99 胜 54 负 |
| 描述原文 | 同上 | 打平 |
| 人工 AUC | 准则轨迹内 | 与互信息相关 0.37–0.68 |
1,270 条任务，八个领域：幽默、创意写作、新闻稿、数学、同行评审、新闻首页、公众评论、专利。描述原文能打平，因为标签部分就是按描述标的。有人工标签的 code review 上，相关为 0.62。
| 体制 | 数量 | 内容 |
| rising | 884 | 全文结构 28%，可核验特征 29% |
| reaches | 321 | 局部模式 34%，如笑点、结尾 |
| bounded | 65 | 身份与社群 23%，文本外特征 15% |
局部模式更常 reaches（q = 0.001），全文结构更常 rising（q = 0.009），身份与社群更常 bounded（q = 0.03）。Bounded 只出现在幽默、新闻首页、同行评审和少量创意写作。拿掉最强模型再预测，中位误差 0.062，约留出值的 9%；直线是 0.075，一律逻辑斯蒂是 0.051。
3B 以下连埋入规则都在随机水平。7B 时解释对 47% 的概念最好，70B 时 66% 要「名字+定义+机制+例子」整包。449 条上各加两条正例、两条反例，Qwen2.5-14B 和 Llama-70B 只多 0.006 bit；单台超过噪声的有 42 条和 43 条，两台都超过的只有 4 条。手艺项里 delivery and timing craft 加 0.17 bit。
名称词频不预测何时习得，紧凑和发散在控制曝光后也分不开。后训练对 reaches、rising、bounded 只多 0.036、0.034、0.008。例子加到 90 条、换 GPT-5.6，65 条 bounded 仍低于埋入规则。接收方写规则时带例子更差：Qwen2.5-14B 在 bounded 上 0.011 bit，不带例子是 0.034 bit。
65 条里 37 条有人类一致性文献，其中 8 条高、20 条中、9 条低，中高占 76%。讽刺指向 κ = 0.72，戏仿 α = 0.82。有人类研究的 679 条 rising 或 reaches 里，53% 人的一致性差，例如笑点产量 α = 0.12。
写奖励 rubric、用原则做对齐，缺一张「这句话传不传得动」的检查。同预算下 ε-estimation 能在四个基准上胜过 GEPA，上界误差大约 0.02。
局部模式中等模型已经传满。全文结构还随 z 爬。身份、受众、社群黑话这一档，五个家族加上 GPT-5.6 都没过埋入规则。14% 没进 IFBench 和 LiveBench，优化器是渐进改进。65 条是这批执行器的上限。
重建不看人工标签。接收方只要稳定复述一条和发送方一致的规则就得分，规则可以是错的。
重采样后，1,270 条里 163 条落回原档的概率低于 0.6。档位的规模还在，单条 rubric 不宜据此上线。
上界被收窄四次：未见 unit 数量估低，外推绑死在现有采样器，语气和人设被丢掉，价值厚尾没拟合上。误差 0.02 不是全局最优。一律用逻辑斯蒂，预测误差 0.051，低于按准则选曲线的 0.062。
词频取自 Dolma，未必是这些模型的训练集。领域限于创意和质性文本。正文写「449 条 bounded」，全量 bounded 只有 65 条，图注实际是 449 条准则；例子无效的范围比这句话窄。