ICML 研究:用高加索阿尔巴尼亚文造反事实,11 个前沿模型不懂编程语义
jessyjli · x · 2026-11-17
CosmicAI 团队(含 Jiyang Zhang、Junyi Jessy Li、Milos Gligoric 等)在 ICML 和 IMPL 发表系列工作,结论是:即便是前沿模型,也不具备对编程语言语义的真正可泛化理解。
研究方法:
- 构建首个针对编程语言语义推理的反事实数据集,包含两种变体:一是把「+」「-」等熟悉符号的语义互换,保持语法熟悉但语义重定义;二是彻底移除语法熟悉度,把加减等语义赋予冷门的高加索阿尔巴尼亚文字符。
- 让 11 个覆盖推理与非推理能力的前沿模型,基于这些明确提供反事实语义去完成程序执行类任务。
核心问题是:LLM 能否让推理服从显式给定的形式规则,即使这些规则与其训练先验冲突?结果显示模型严重依赖训练先验而非给定规则。
「模型」频道最新
- Harness Adapters发布:LoRA让Qwen3.8-27B在Pi上解题率翻倍 — LysandreJik · 2026-11-17
- Qwen 称已删攻击性网络训练数据,网友问是真阉割还是安慰剂 — Rare_Subject2343 · 2026-11-17
- 12 个开源语音模型实测 208 个药名:最强的也只对 169 个 — MaziyarPanahi · 2026-11-17
- d1-Omni 作 VLM 裁判,拒绝 Gemma 与 LFM2.5-VL 通过的标注框 — mervenoyann · 2026-11-17
- 韩国团队 KORMo-Web-11B 冲上 HF 热榜,主打 GUI 与网页 Agent — KORMo-VL · 2026-11-17
- Qwen3.5-4B 无审查微调版登 HF 热榜,Apache 2.0 开放 GGUF — HauhauCS · 2026-11-17