「Memory By Design」贝叶斯层开源：百兆规模早期测试胜 Mamba-3

memming · x · 2026-11-03

MrCatid 开源了 catid/bayes-ssm：论文《Memory by Design: Bayesian Layers for Sequence Modeling》（Dowling、Jeon、Savin、Park）中贝叶斯层的生产级实现，针对 GB300 优化了训练代码。作者称在部分 1 亿参数规模的早期测试中，该贝叶斯层在速度和 loss 上都以明显优势超过 Mamba-3，若继续有效将用于 H-nets。

仓库包含贝叶斯层方程、ReplaySSM 检查点/重放边界、经静态单位转移情形验证的结合性 CUDA scan。实现细节：循环状态、协方差、归约与 scan 求解保持在 FP32，状态边界接受 BF16/FP8 投影输出；ReplaySSM 以 Mamba 风格的 chunk replay 反向传播提供精确稠密协方差。以上为作者自述的早期结果，尚未经独立复现。