研究：词性信息以分布式稀疏特征群形式编码于 SAE 潜空间
colinglab · hf · 2026-09-25
该研究用词性（PoS）类别作为受控测试，考察稀疏自编码器（SAE）潜变量是否编码形态句法信息。主要发现：
- 词性区分可从 SAE 激活中高保真恢复，但不存在一对一的「潜变量 ↔ 语法类别」映射；
- 这种可恢复性不能归结为词汇记忆；开放与封闭词性类别的编码方式差异显著；
- 各类别由紧凑的稀疏潜变量群支持，不同标签间差异大；这些特征群在保留数据上保持稳定，同时相关类别间存在重叠。
结论：SAE 以分布式、依赖类别的方式定位形态句法信息，而非通过原子化的语法特征。
「研究」频道最新
- 新论文形式化持续学习：用概率空间解路径刻画稳定-可塑权衡 — hbouammar · 2026-09-25
- Helmholtz 30 余位 PI 集会，探讨 AI 驱动的 Virtual Human 蓝图 — Pseudomanifold · 2026-09-25
- CMU 论文:廉价裁判+不确定时升级,省 99.6% 评测费保留 99% 准确率 — Stefania_druga · 2026-09-25
- Ephemeris 上线：一个 API 集成多款开源时序基础模型 — network-kai · 2026-09-25
- 176 组对照实验：Agent Harness 设计对成绩影响被系统量化 — alex_verem · 2026-09-25
- 评论称前沿重回分类模型，AlexNet 不过二十年已成史前化石 — Paimaamu · 2026-09-25