PLSemanticsBench:把➕重定义为减法,性能暴跌40-60分
jessyjli · x · 2026-07-07
PLSemanticsBench 通过对照实验检验:把'➕'重定义为减法,同时保持语法与语义规则结构完全相同,模型性能暴跌 40–60 分。真正读懂规则的模型不会受此影响,但大多数模型都垮了,说明它们并未真正在按规则推理。
所属事件:PLSemanticsBench揭示大模型难真按规则推理(4 条相关)→
「研究」频道最新
- 研究发现，结构集成比单一预测更能提升 TCR:pMHC 泛化 — quaidmorris · 2026-07-22
- RSS 加入 OMSF，推进结构生物学大规模数据建模 — MoAlQuraishi · 2026-07-22
- enFoldX 在 8 个 neoantigen 数据集上拿到领先结果 — quaidmorris · 2026-07-22
- enFoldX 在 human VDJdb 上达 AUC 0.82 并可迁移到 mouse — quaidmorris · 2026-07-22
- enFoldX 利用 AF3 ensemble 分歧识别非结合对 — quaidmorris · 2026-07-22
- 三维射线图把这个 Jacobian 反例画得极难读懂 — moultano · 2026-07-22