NXAI 开源 KronLSTM:Kronecker Delta 规则线性注意力模型与 Triton 内核
gklambauer · x · 2026-10-22
NXAI 团队在 GitHub 开源了 KronLSTM（MIT 协议），这是论文《Kronecker Delta Rule for Long Context Linear Attention》（arXiv:2610.26834）的配套实现，包含 Triton 内核与 PyTorch 层，并兼容 flash-linear-attention 生态。该模型已收录进社区整理的线性注意力变体合集 Attention Zoo。
技术要点：
- KronLSTM 是一种线性注意力循环结构，矩阵状态 S∈R^(K×V) 每步沿一个秩一 Kronecker key 写入；
- 用标量写入强度来闭合状态中已存储内容与新写入之间的残差，面向长上下文建模；
- 仓库附带 benchmarks、evals、examples 与训练脚本，目前 41 star。
配图为 KronLSTM Block 架构图：外层由 Norm + KronLSTM + SwiGLU 组成残差块，内部核心是 Kronecker Delta Rule 模块，q/k/v 经 L2 Norm 与卷积，另有 β、c、f 等多个门控分支。
所属事件:Hochreiter 团队发布并开源 KronLSTM(8 条相关)→
「研究」频道最新
- Google 研究:端侧 AI 超声让非专业人员数小时上手产检 — ymatias · 2026-10-22
- 开源酶设计系统 Artios 发布，AI 攻入蛋白质设计新前沿 — DeryaTR_ · 2026-10-22
- 多伦多大学启动文化适配 AI 项目，服务孟加拉国心理健康 — ishtiaqueSIA · 2026-10-22
- AI 研究过热或正在掏空其赖以生存的基础学科 — Symbiot10000 · 2026-10-22
- 计算模拟支持考古发现:空间瓶颈阻碍文化传播 — abenitezburraco · 2026-10-22
- AI 心电图标志物检测猝死风险，伯克利获年度学术发现奖 — oziadias · 2026-10-22