PLSemanticsBench:大模型能读懂新语言的语义规则吗?
jessyjli · x · 2026-07-07
研究者推出 PLSemanticsBench 基准:把一门全新编程语言的完整形式语义喂给大模型,模型能像天才解释器一样跟踪状态、处理嵌套循环并预测精确输出,准确率高达 90%。但作者追问:它真的是在按规则推理,还是在依赖其他东西?后续推文通过对照实验进一步检验,发现模型其实并未真正依据给定规则推理。
所属事件:PLSemanticsBench揭示大模型难真按规则推理(4 条相关)→
「研究」频道最新
- 研究发现，结构集成比单一预测更能提升 TCR:pMHC 泛化 — quaidmorris · 2026-07-22
- 结构集合而非单一预测，支撑 TCR:pMHC 泛化 — quaidmorris · 2026-07-22
- 三维射线图把这个 Jacobian 反例画得极难读懂 — moultano · 2026-07-22
- Gary Marcus 警告：LLM 榜单正在把 harness 一起算进去 — GaryMarcus · 2026-07-22
- 新论文定义 self-state 攻击，四类 agent 记忆篡改 OS 无法区分 — Justgototheeffinmoon · 2026-07-22
- Krea 2 用户推荐双段 Clownshark 采样配置提升细节 — listopalafoto · 2026-07-22