DeepLIFT 可解释性方法扩展至 Transformer,已合并进 tangermeme
jmschreiber91 · x · 2026-10-18
tangermeme(基因序列可解释性工具库)合并了将 DeepLIFT/SHAP 扩展到 Transformer 架构的 PR(v1.5.0 已可用):
- 新增 LayerNorm、RMSNorm、Softmax、Bilinear(如 matmul/einsum)的闭式 DeepLIFT 规则
- 加入 local-IG(local Integrated Gradients)DeepLIFT 乘子的 hook 工厂
- 新增局部二核苷酸洗牌序列生成例程
作者表示该方案已在 Cherimoya 模型上验证了闭式 LayerNorm 解且速度很快,原理上也应适用于 Borzoi 等 Transformer 模型——为长序列基因模型提供更快的归因分析路径。
所属事件:tangermeme 合并 DeepLIFT/SHAP 扩展支持 Transformer(2 条相关)→
「研究」频道最新
- 斯坦福提出 Next-Concept 建模:粗到细并行生成,比扩散 LM 快 21 倍 — Azaliamirh · 2026-10-18
- 前沿学者警告：封闭 LLM 自我训练或致系统性错觉 — NandoDF · 2026-10-18
- AI 生物公司用湿实验室造数据，把药物发现变成 RL 沙盒 — xennygrimmato_ · 2026-10-18
- LWN 数据：Linux 每版修复 bug 数自 2026 年 4 月以来翻倍 — farlight · 2026-10-18
- 论文主张机制可解释性需要一套「推理逻辑」框架 — burny_tech · 2026-10-18
- 把网页应用整体编译成一个神经网络，还能反向梯度求输入 — Vjeux · 2026-10-18