单卡研究:快权重记忆让 Transformer 推理时写入规则
KKuettes · reddit · 2026-07-07
独立研究者(单张自费 RTX 3090)发布预印本,提出“快权重记忆库”:模型在自身前向传播中写入一组向量,并以权重形式读取(每个槽位经超网络扩展为低秩 MLP 层作用于 token 流),而非作为数据被注意。目标是无需反向传播即可在推理时实现持续学习——无 TTT、无优化器、无权重克隆、无增长上下文。
KKuettes · reddit · 2026-07-07
独立研究者(单张自费 RTX 3090)发布预印本,提出“快权重记忆库”:模型在自身前向传播中写入一组向量,并以权重形式读取(每个槽位经超网络扩展为低秩 MLP 层作用于 token 流),而非作为数据被注意。目标是无需反向传播即可在推理时实现持续学习——无 TTT、无优化器、无权重克隆、无增长上下文。