CLT-Forge 开源:训练跨层转码器解码 LLM 计算图
ZhijingJin · x · 2026-10-27
Zhijing Jin 团队在 EMNLP 2026 系统演示track发布 CLT-Forge,一个 MIT 协议的开源库,用于训练跨层转码器(Cross-Layer Transcoders)并计算归因图(attribution graphs),帮助从 LLM 中解码计算图与电路。
- 作者主张机制可解释性应优先于表征可解释性:不能只编目 steering vectors 等表征,而要解码 LLM 的因果计算图——「就像不能只靠血液成分理解生物学」
- 作为首批把这类分析扩展到更大模型的开源尝试,包含分片训练、压缩激活缓存、自动可解释性(autointerp)与图可视化
- 配图为可视化界面截图,展示归因图中「large/small」相关特征的激活与干预交互
- 由 EuroSafeAI、JinesisLab、MPI、多伦多大学、密歇根大学等机构合作完成,GitHub 已获 110 star
所属事件:CLT-Forge 开源发布,助力训练跨层转码器解析 LLM 内部计算(2 条相关)→
「研究」频道最新
- 学术研究如何真正被采用:选重要问题、做好 eval、易用性决定影响力 — srchvrs · 2026-10-27
- 苦涩教训第二弹:能产生影响的学术发明很少,发表场所并不关键 — srchvrs · 2026-10-27
- 研究成果被采用的四个条件:重要问题、强基线、可扩展、真实可用 — srchvrs · 2026-10-27
- EMNLP 主题演讲:产业界其实在读论文,只是不署你的名 — srchvrs · 2026-10-27
- GitHub 快速位打包算法致谢漏了两位作者,学者晒亲身经历 — srchvrs · 2026-10-27
- 入学一周即当上 ARR 审稿 Area Chair,学者吐槽评审乱象 — anmarasovic · 2026-10-27