Goodfire CTO 深谈概念流形几何与 1000 美元/月的 ML 研究智能体
The Cognitive Revolution · rss · 2026-08-09
Goodfire 联合创始人兼 CTO Dan Balsam 做客播客，深入探讨了 AI 可解释性研究的现状，并发布了其团队内部使用的 AI 研究平台 Silico（每月使用成本约 1000 美元）。
可解释性与数据调试
- 预测性数据调试：微调和强化学习（RL）往往会放大预训练数据中已存在的潜在行为。借助可解释性工具，研究者可以精准定位引发不良更新的训练数据和特征。
- 概念流形几何：Dan 指出，模型并非将概念存储为简单的单热特征，而是表示为具有特定几何结构的稀疏混合子空间。这种内部几何特性决定了哪些模型干预和引导手段会生效，也解释了为何在偏离流形的情况下模型引导容易失败。
Silico 平台介绍
- 这是一个专为机器学习研究设计的智能体平台，能够自主调用工具、编写代码并执行实验。
- Dan 分享了 Silico 的具体研究用例，并探讨了研究品味、算力额度分配以及开放模型在其中的作用。此外，他们还讨论了如何利用这些可解释性技术进行训练干预、模型监控以及生物安全风险的防护。
「编程与Agent」频道最新
- Atlassian 设计师用 Cursor AI 直接处理 Jira 任务 — talkaboutdesign · 2026-08-09
- Vibe Coding太烧钱？开发者抱怨几分钟烧掉150万Token — afl_ext · 2026-08-09
- AI代码审查避坑：把模糊提示词变成流水线 — ClickOk5811 · 2026-08-09
- Liquid AI 新模型实测：以 1/4 体积碾压同级 — JosephJacks_ · 2026-08-09
- Swarms 推出 Auto Agent Builder，一句话自动生成多智能体团队 — KyeGomezB · 2026-08-09
- 实测证明 LLM 盲目修 Bug 会毁掉正确代码 — sebpaquet · 2026-08-09