IBM 等研究：SAE 训练数据需求被高估，特征复现仍需大规模
Aikyam-Lab · hf · 2026-10-17
来自 VAL 与 Aikyam Lab（IBM、印度科学理工学院、弗吉尼亚大学）的新论文研究稀疏自编码器（SAE）到底需要多少激活数据：在 3 个语言模型上训练 4 种 SAE 架构，数据预算从 5M 到 500M token。
核心发现是两种收敛标准的差异巨大：功能性表现（标准评测、重建质量）在远小于常用规模的数据预算下即可接近全量参考水平，说明常规的数亿到数十亿 token 训练规模被高估；但特征层面的可复现性（one-to-one 特征匹配）随数据量持续提升——例如 Gemma-2-2B BatchTopK 中严格匹配特征比例从 2% 起随数据增长。结论：若评测目标对齐功能行为，可用远少于以往的数据训练 SAE；但要求特征可复现时仍需更大规模。
「研究」频道最新
- MIT 新作 Contact-UAN:6.5 分钟数据让人形机器人落地更稳 — kevin_zakka · 2026-10-17
- 手持 Livox MID-360 在 ROS 2 实现地图定位,室外跑通约 390 米 — rsasaki0109 · 2026-10-17
- 新论文探讨 AI 福利：意识认识论能给我们哪些约束 — birchlse · 2026-10-17
- GPT-6 Astra 成 Papers with Code 上升最快方法，30 天 27 篇论文 — NielsRogge · 2026-10-17
- RoboMME 登顶：全量视觉历史塞进上下文，Astra 92.1% 超人类基线 — hankyang94 · 2026-10-17
- OpenADMET PXR 结构预测挑战复盘：共折叠找对构象依然很难 — anshulkundaje · 2026-10-17