2023 年旧文重提：从零手改权重做序列预测 Transformer
voooooogel · x · 2026-11-03
voooooogel 提醒:如果你因 MIT 关于 Astra 能力的帖子对权重编辑(weight editing)产生兴趣,他在 2023 年写过一篇从零构建 Transformer 并直接编辑权重来完成简单序列预测任务的旧文,可作为理解权重编辑机制的入门材料。
所属事件:MIT 权重编辑讨论引热议，博主旧文演示手写权重跑通 Transformer(2 条相关)→
「研究」频道最新
- 实测对比：长回答任务中 SWA+mLSTM 混合架构胜过纯滑动窗口注意力 — HochreiterSepp · 2026-11-03
- 新论文揭示扩散加速机制:残差门通道利用率与生成质量强相关 — serrjoa · 2026-11-03
- L1 为何能做特征选择而 L2 不能？一文讲透正则化的几何原理 — techNmak · 2026-11-03
- 圈内热传:几乎全部机械可解释性研究都源自一位博主的帖子 — max_paperclips · 2026-11-03
- NVIDIA AgentBaton:智能模型适时交棒,agent 成本降 65.9% — amaarora · 2026-11-03
- 上交大等提出「化身智能」：持久个人 Agent 评估框架 AOI — SJTU · 2026-11-03