Parsed, Plausible, Wrong: Output Format Controls Silent Errors in Small-Model Semantic Parsing
Umar Ahmed, Maxim Dunaev, Mohammad Nour Al Awad, Sergey Ivanov, Ivan Khodnenko
cs.CL, cs.LG
2026-11-13
两个十亿以下的模型在 PIZZA 上比较六种无损订单编码。白话格式让 Qwen3.5-0.8B 的静默错误降到 4.5%(括号格式 10.3%),LFM2.5-350M 降到 10.0%(17.9%),Qwen 精确匹配 87.5%,token 少到约四分之一。
语义解析把句子收成树。树不合法,调用方可以重问。树合法、内容和顾客说的对不上,厨房会照单做,没有报警。这篇把这种静默错误率记为 S,当作要压的数;精确匹配 A 留给跟旧工作对照。
线上咖啡馆解析器为了速度选了紧凑输出,手写小测试集分不出格式,实验因此改到 PIZZA。口头的披萨和饮料订单被收成树,子节点不计顺序。训练池 2,456,446 条由文法生成,开发集 348 条、测试集 1,357 条由人写。人写测试集是主要证据。
同一棵树有六种写法。Qwen 的输出从 44.3 个 token 降到 10.9 个。越短越稳是实验前的猜测。单靠缩短没有帮助,写成普通词有帮助。
六种编码在开发集、测试集和 5 万条样本上都能解回原树。EXR 是原生括号式,44.3 个 token;JSON 44.1,与它等长。EXR-SHORT 把构造子缩成单字母,32.3。TAGGED 写成 key=value,22.2。DSL 用 +、! 表示加量和否定,11.3。WORDS 沿用这个结构,把记号写成普通词,10.9。前四档是长度阶梯。EXR/JSON 与 DSL/WORDS 两对等长,用来把长度和措辞拆开。token 取 Qwen 全量池的平均输出。
1,357 棵标准答案里,WORDS 的字符比 DSL 长(43.1 对 34.9),Qwen token 更少(10.3 对 10.8)。+cheese 切成三个子词,extra cheese 仍是两个。LFM2.5 词表大约小四倍,标点密的格式被拉得更长。
模型为 Qwen3.5-0.8B 与偏卷积的 LFM2.5-350M。LoRA 的 rank 和 α 固定 16,打在全部线性层上,格式之间不改 rank。损失只算目标。最多 4,000 步、64,000 条,每 100 步早停,耐心 10。停止指标是开发集精确匹配、拒绝、纠正三者的平均。学习率在 1e-4、2e-4、5e-4 里,按模型和格式、用 10 万池的开发集精确匹配定死。生成上限为该格式最长目标的 1.25 倍,正确输出不会被截断。
300 次覆盖 6 格式、5 档池(1k、10k、100k、1M、全量)、5 种子、2 模型,都含拒绝和纠正。单次最多 64,000 条,大池只更杂。种子锁定子集,格式配对。事先规定 5 种子均值、10,000 次分层 bootstrap,五个池大小作 Holm 一族,p 小于 0.05 才算分开。
原数据没有拒单,hehe hehe 也会被收成披萨。训练集的 30% 换成合成负例,掺进额外内容就整句拒绝,各格式用一条不可能当成订单的拒绝串。评估负例 614 条全用训练未见词。口误修正占真实订单的 10%,四分之一提示词留出。开发集和测试集保持纯 PIZZA,A 和 S 沿用原定义。
一条测试订单只进一类,四类加总为 100%。A 是精确匹配,S 是能解析但树是错的,Dparse 解析失败,Drefuse 把真订单拒了。部署要压的是 S。
全量池、1,357 条人写订单,下表是 5 个种子的均值。
| 模型 | 格式 | token | 精确匹配 | 静默错误 | 解析失败 | 拒真单 |
| Qwen3.5-0.8B | EXR | 44.3 | 85.8% | 10.3% | 0.6% | 3.3% |
| Qwen3.5-0.8B | JSON | 44.1 | 81.6% | 14.9% | 0.3% | 3.2% |
| Qwen3.5-0.8B | EXR-SHORT | 32.3 | 75.2% | 17.4% | 3.3% | 4.2% |
| Qwen3.5-0.8B | TAGGED | 22.2 | 85.9% | 11.6% | 0.5% | 2.1% |
| Qwen3.5-0.8B | DSL | 11.3 | 79.7% | 8.3% | 6.7% | 5.4% |
| Qwen3.5-0.8B | WORDS | 10.9 | 87.5% | 4.5% | 4.6% | 3.4% |
| LFM2.5-350M | EXR | 52.4 | 74.0% | 17.9% | 0.2% | 7.8% |
| LFM2.5-350M | JSON | 57.8 | 70.7% | 19.1% | 0.1% | 10.1% |
| LFM2.5-350M | EXR-SHORT | 35.6 | 70.8% | 16.9% | 2.1% | 10.1% |
| LFM2.5-350M | TAGGED | 24.4 | 71.6% | 21.4% | 0.7% | 6.3% |
| LFM2.5-350M | DSL | 11.4 | 72.0% | 13.1% | 5.7% | 9.2% |
| LFM2.5-350M | WORDS | 12.0 | 77.4% | 10.0% | 5.8% | 6.7% |
原论文 BART-Large 在不含拒绝和纠正的设置里达到 78.6%,这里只作参照。
缩短并没有换来更高的精确匹配。四档阶梯的 10 个格子里,token 越少,精确匹配越低,每 10 个 token 最多掉 1.1 个点,显著的仅 1 格。只改构造子名字的 EXR-SHORT,Qwen 掉 10.6 个点,各池都显著,LFM2 掉 3.2。大约短一半的 TAGGED,在 Qwen 上与 EXR 持平。
WORDS 比 DSL 的精确匹配在 10 格里都高。全量池 Qwen 高 7.8 个点(+6.1 到 +9.5),LFM2 高 5.4,校正后 9 格仍显著。LFM2 上 WORDS 更长(12.0 对 11.4)也更高,短解释不了这个差距。对 EXR 的精确匹配只高 1.8 和 3.4 个点,Qwen 上不显著。对 EXR 的静默错误每个池大小都显著:Qwen 4.5% 对 10.3%,比值 2.3(1.8 到 3.1);LFM2 10.0% 对 17.9%,比值 1.8(1.4 到 2.3)。括号格式几乎没有解析失败,错单因此静默。WORDS 在 Qwen 上有 4.6% 解析失败,调用方能看见。Qwen 上 WORDS 的输出 token 是 10.9,EXR 是 44.3,大约少到四分之一。
否定占 WORDS 静默错误的 5% 和 6%,其他格式为 19% 到 34%、14% 到 28%。Qwen 按订单算,静默否定从 2.0% 降到 0.2%。剩下的错主要是份数,占 Qwen 上 WORDS 静默错误的 36%。编造实体每单,Qwen 0.018 对 0.100,LFM2 0.051 对 0.123。
训练未见词的负例,Qwen 拒掉 95.9% 到 99.0%,LFM2 拒掉 97.2% 到 98.3%。真订单被拒,Qwen 2.1% 到 5.4%,LFM2 6.3% 到 10.1%。带问候、please 或 thanks 的 289 条里,Qwen 的 WORDS 拒 6.1%,其他订单 2.6%。留出提示词上,纠正属性的改对率 Qwen 约 80% 到 88%,LFM2 约 72% 到 78%。奶酪例子在 60 次全量运行里都改对了。
池子只有 1k 时,WORDS 领先 EXR 最多(Qwen +4.0,LFM2 +7.2),之后收窄。它对 DSL 的领先在 Qwen 上不收窄(1k 为 +6.7,全量 +7.8)。Qwen 单条延迟大约 29 毫秒加上每 token 26.5 毫秒,R2 为 1.00。WORDS 比 EXR 快 3.7 倍(317 对 1171 毫秒)和 4.4 倍(186 对 821 毫秒),显存仍在 1704 到 1806 MiB。
订单若不经人看就进厨房,要看的是 S。Qwen 上 WORDS 的精确匹配没有显著高于 EXR,TAGGED 的 85.9% 也和 87.5% 分不开。静默错误从 10.3% 降到 4.5%,每个池大小都显著。括号格式错的时候仍然像一份合法订单。白话格式把一部分错误变成解析失败,静默错误的基数也更低。
换格式不加标注,延迟随 token 下降,显存基本不动。改动停在树怎么写。
更大模型和别的任务没有测,论文把这点写成开放问题。证据是两个十亿以下模型、一个英文点餐集。
Qwen 上精确匹配的配对差只有 +1.8 个点,TAGGED 也与 WORDS 分不开。摘要里的「最准」是点估计。检验撑住的是静默错误。
硬拒绝会丢掉 2.1% 到 10.1% 的真订单,丢掉的多是礼貌说法。负例和口误是合成的,40 条手写探针盖不住长尾。LFM2 重训同一格,精确匹配动 4.9 个点,种子标准差 3.0;Qwen 重训只动 1.5,标准差 1.9。约束解码没测:去得掉解析失败,去不掉合法的错树。若把 WORDS 的解析失败收成合法树,静默错误可能回升。学习率还按格式单独选过,差距里夹着优化。