开发者把斯坦福 Memorilla 移植到 Strix Halo 本地训练 Gemma4

DataPhreak · reddit · 2026-11-11

Reddit 用户 DataPhreak 花了几天把斯坦福等机构的 Memorilla 框架（arXiv:2610.21375）从 CUDA 移植到 AMD Strix Halo 上，用于训练 Gemma4 26b a4b。Memorilla 是斯坦福、MIT、UPenn 与 Vector Institute 研究者开发的 AI 记忆框架，把海量文档或聊天记录压缩成仅 16 个动态记忆 token——类似视觉语言模型把图像处理成固定 embeddings，把长期记忆当作一种新模态，而非依赖大段文本复制粘贴。

移植难点在于原代码为 CUDA 编写，且 Gemma4 架构独特、编码器维度不同，需要大量适配数学。作者利用斯坦福已发布的现有权重，只需在约 10% 的原始数据集上训练，预计要跑几周。代码已开源。