新论文:神经语言模型在表征空间中线性编码语法性
najoungkim · x · 2026-09-18
Jane Li 与 Najoung Kim 发布 arXiv 论文，超越传统的概率式评测研究语言模型的语法知识：- 以往证据依赖概率对比（语法句概率是否高于不合语法句），但概率混杂了词频、合理性、世界知识等因素 - 作者用 mass-mean probing 检验语法性是否系统性分离于表征空间 - 结果显示:广泛的预训练模型确实稳健地编码语法性，产生清晰的表征分离，且无法完全由其他句子属性解释 - 该编码能跨语法现象与跨语言泛化 - 论文预印本已公开
「研究」频道最新
- Navier-Stokes 不到一月又传 Hodge 猜想被破,千禧难题加速告破 — haider1 · 2026-09-18
- Meaning Spark 实验推理时脚手架，增强 AI 元认知与反思 — PeterBowdenLive · 2026-09-18
- 虚拟细胞模型研究者加入 Cellular Intelligence,瞄准细胞疗法 — arjunrajlab · 2026-09-18
- 八个月迭代 ATLAS:不动权重把小模型推向接近前沿水平的编码系统 — itigges22 · 2026-09-18
- AI 文本水印反成软肋：研究称其放大对抗提示风险 — luisdans · 2026-09-18
- Jack Clark 回应 RSI 测量研究：26% 数字将广为流传 — jackclarkSF · 2026-09-18