新的递归语言模型架构DABSN
BleedingXiko · reddit · 2026-07-17
作者分享了一种新的递归语言模型架构 DABSN（Dynamic Adaptive Bias State Network）的预印本和代码，并寻求协作者一起做更大规模的复现与扩展。 ### 已展示的内容 - 论文重点放在架构本身，以及它在推理、记忆、长序列任务上的表现。 - 提到了 MQAR、Copy、Key-Value retrieval、A5/60 等 benchmark。 - 代码公开，包含 PyTorch、C++ 和 Triton 实现，可复现。 ### 进一步计划 - 作者已经用同一 cell 训练了一个小型语言模型：24M 参数、10 亿 token 预训练、GPT-2 tokenizer。 - 他打算写第二篇论文，专注于语言建模、长上下文和 scaling，并希望找到能帮助独立复现、设计更强 baseline，或提供更大 GPU 资源的合作者。