BeFOND 稀疏编码方法:样本需求降至 Gemma Scope 的千分之一
gottapatchemall · x · 2026-10-08
研究者发布 BeFOND,一种无编码器的迭代稀疏编码模型,用于解释 LLM 内部机制。核心要点:
- 推理与学习规则均为闭式解,统一为自由能上的自然梯度流;
- 在 52.4 万宽度的配置下,BeFOND 用约 600 万 token 达到 Gemma Scope 单特征探测精度(后者需约 80 亿 SAE 训练 token),样本需求低逾 1000 倍;
- 随 SAE 宽度增加性能持续提升,而对比方法会陷入平台期;
- 作者还提供了理论解释为何该方法有效。作者附有 17 条推文的技术长文。
「研究」频道最新
- OpenAI 首次公开内部预训练困惑度曲线,提议以 perplexity 定行业安全标尺 — merettm · 2026-11-23
- AI 数学蜂群新成果:962 变量四次多项式被证明已是最优 — gleech · 2026-11-23
- AI 数学证明后的阐释整理工作,已因 OpenAI 准黎曼结果泛滥? — gleech · 2026-11-23
- CMU 发布 ExploitBench:把 LLM 网络攻击能力做成「阶梯」评测 — goyal__pramod · 2026-11-23
- 哈佛论文:SWE-Bench 更高分的编码模型并未干更多活 — rohanpaul_ai · 2026-11-23
- 普林斯顿团队发布 SSoN 基准:最强视觉模型空间一致性仅 39.7%,人类 83.3% — jiqizhixin · 2026-11-23