BeFOND 稀疏编码方法：样本需求降至 Gemma Scope 的千分之一
gottapatchemall · x · 2026-10-08
研究者发布 BeFOND，一种无编码器的迭代稀疏编码模型，用于解释 LLM 内部机制。核心要点：
- 推理与学习规则均为闭式解，统一为自由能上的自然梯度流；
- 在 52.4 万宽度的配置下，BeFOND 用约 600 万 token 达到 Gemma Scope 单特征探测精度（后者需约 80 亿 SAE 训练 token），样本需求低逾 1000 倍；
- 随 SAE 宽度增加性能持续提升，而对比方法会陷入平台期；
- 作者还提供了理论解释为何该方法有效。作者附有 17 条推文的技术长文。
「研究」频道最新
- 斯坦福 MobileVISTA：单一基座位姿采集数据，即可泛化到多姿态操作 — jiajunwu_cs · 2026-10-08
- HSS 新基准：顶级模型过司考却算不准苹果能否装进饭盒 — dustinvtran · 2026-10-08
- Rowan Sci 测试前沿 LLM 逆折叠能力:结果出乎意料地好 — AllThingsApx · 2026-10-08
- 前沿实验室研究员齐聚,三小时激辩持续学习 — ysu_nlp · 2026-10-08
- Periodic Labs 访谈：用强化学习造「AI 科学家」与合成超智能 — Latent Space · 2026-10-08
- 剑桥实验室用 Co-Scientist 把 2-3 年研究压缩到 6 个月 — vivnat · 2026-10-08