研究:用「自然语言」编码输出,小模型静默错误率降 2.3 倍
ITMO · hf · 2026-11-17
该研究关注小模型语义解析的「静默错误」:模型输出格式合法但语义错误的树,下游无从察觉。
- 在 PIZZA 订餐基准上,用 LoRA 微调两个亚十亿参数模型(Qwen3.5-0.8B、LFM2.5-350M),对比同一目标树的 6 种无损编码(每单 44.3 到 10.9 token)。
- 300 次运行(5 种训练池规模 × 5 seeds),预先注册的分层 bootstrap 与 Holm 校正。
- 结论:单纯缩短编码无效,但用「日常用语」编码目标最有效——Qwen 上 exact match 87.5% vs 原生 s-expression 85.8%,且少输出 4.1 倍 token;静默错误率在 Qwen 降 2.3 倍、LFM2 降 1.8 倍,增益主要来自否定处理。
- 模型还学会拒答菜单外输入(held-out 95.9-99.0%),但严格拒绝策略会误拒 2.1-10.1% 的真实礼貌订单。
「研究」频道最新
- 牛津联合四大实验室发文:安全≠好 AI,97% 拦截率仍不够 — alex_verem · 2026-11-17
- 理论物理学家:AI 已强过多数初级物理研究者,该骑上这条龙 — IgorCarron · 2026-11-17
- 形式化验证可信吗?研究者质疑「用 Lean 证明了」的实际含义 — DimitrisPapail · 2026-11-17
- CVPR 2027 官宣落地西雅图,6 月 20-25 日举办 — CSProfKGD · 2026-11-17
- BeyondBinding 挑战赛启动:AI 设计抗体将接受湿实验验证 — QuanquanGu · 2026-11-17
- CMU等发布Singularity-Bench:Opus 5.5+Claude Code全面超越人类基线 — armand_ruiz · 2026-11-17