Goodfire 神经几何系列：沿流形转向可控网络，Llama 内发现加法模块
burny_tech · x · 2026-11-10
Goodfire 发布「Neural Geometry Series」系列研究，主张理解神经网络激活中的多维几何结构是理解、改进与控制 AI 的关键前沿。
- 世界观：网络激活携带丰富几何结构——星期构成圆环、颜色呈 HSL 流形、生命之树出现在基因组表征中。
- 沿流形转向：在表征空间沿弯曲流形转向，比常规线性转向向量产生更干净、更定向的行为改变。
- 几何计算器：在 Llama 3.1 8B 内发现一个操作流形的通用加法模块，处理数字的圆形表征。
- SAE 与流形：研究稀疏自编码器特征（直线）能否重构弯曲几何，实现无监督的流形发现流水线；另有时序动态研究，考察 LLM 如何随 prompt/对话推进表征故事内容。
所属事件:Goodfire 发布神经几何系列研究探索模型内部几何结构(2 条相关)→
「研究」频道最新
- 亚马逊FAR发布Pick Anything：单一策略类人抓取66种物体 — notmahi · 2026-11-10
- 双高斯过程模型选中电解液添加剂,5 万次循环容量保持 90.3% — bravo_abad · 2026-11-10
- LeCun 亲自澄清 JEPA:关键不在预测器,而在联合嵌入 vs 生成式 — jbhuang0604 · 2026-11-10
- 斯坦福 AI100 2026 报告发布，「递归自我改进」首次单列成章 — conitzer · 2026-11-10
- EPFL 数据科学课黑板照走红，教授考虑将全课程搬上 YouTube — burny_tech · 2026-11-10
- Manav Robotics 在 CoRL 2026 发布 IMBench：35 任务测 AI 物理常识 — k7agar · 2026-11-10