Goodfire 发布神经几何长文：模型内部存在颜色轮、时间曲线等世界结构
burny_tech · x · 2026-10-20
Goodfire（Atticus Geiger、Ekdeep Singh Lubana、Tom McGrath 等）发表「神经几何系列」长文，系统梳理神经网络内部几何结构与外部世界结构的对应证据。要点：
- 语言模型内部：数字、星期、月份呈环形回路；历史年份、文本字符沿平滑曲线排布
- 图像模型：物体空间关系在激活空间中被复现；颜色由色相/饱和度/亮度构成的平滑曲面表示
- 基因组模型：整个生命之树位于一个复杂流形上，并在表观基因组模型中发现了表现为干净曲线的未知阿尔茨海默病生物标志物
作者主张，理解并利用这些弯曲几何结构，将是解锁 AI 可理解性与可控性的关键。文中配图展示地理、星期、正式度、温度、颜色、年份、年龄等概念在模型内部的几何形态。
「研究」频道最新
- 发布机器人双基准：MicroPlanBench 与 MicroAnnotationBench 首批排名揭晓 — chris_j_paxton · 2026-10-20
- ICLR 审稿人崩溃:一天审五篇几乎全是 AI 代写,呼吁改革 — peterbhase · 2026-10-20
- Meta 论文：软硬协同设计使 AMD MI350X 训练吞吐量提升至 1.5 倍 — burny_tech · 2026-10-20
- 新工作「Continuous Softmax Attention」引关注 — burny_tech · 2026-10-20
- Muon 优化器改进：按需选多项式，可省约 0.5% LLM 训练算力 — burny_tech · 2026-10-20
- HeadEdit：不改权重即可校准 LLM 行为，九项实验全面生效 — burny_tech · 2026-10-20