开发者提出混合注意力新架构：基于质心聚类的token级路由

InfamousTrouble7993 · reddit · 2026-08-18

一位开发者发布了名为 LogPose 的混合注意力语言模型架构，旨在解决注意力稀释和死专家问题。该架构采用可微分的软 K-means 聚类路由器，通过质心聚类将 token 动态路由到专门的注意力头。此外还支持基于 GRU 的序列感知循环路由和标准线性路由。项目实现了 Llama 风格的解码器基线（RMSNorm、RoPE、SwiGLU、GQA），内置 GSM8K 和 MBPP 基准测试，支持 KV 缓存和路由状态缓存的高效推理，并集成 MLflow 实验跟踪。作者在 Reddit 上询问该架构是否具有新颖性，担心已有类似研究。