不训练手写权重造 Transformer：博主逐个赋值跑通序列预测
voooooogel · x · 2026-11-03
博主 voooooogel 分享其 2023 年的旧文，呼应近期 MIT 关于 Astra 权重编辑能力的讨论：不用训练、不用预训练权重，而是亲手为一个 GPT-2 风格的 decoder-only transformer 逐个指定所有权重，让它完成简单的序列预测任务（预测 aabaab），一晚上就跑通了。
文章脉络：
- 选一个难度适中的任务，设计自定义分词方案与模型维度
- 手工设计位置嵌入（wpe）与词嵌入（wte）
- 核心难点是设计 transformer block：cattn 层生成 q/k/v，再经 cproj 投影回嵌入空间，最后用 wte 投影到词表 logits
- 配图展示了手写的 cattn 权重矩阵（用大数 Lg=1024 与 0/1 构造注意力模式），以及 q/k/v 矩阵的逐元素推演：v 部分实际是把 one-hot token 编码转为 1/-1 编码，配合注意力头按「前两个 token 是 aa/ab/ba」的规则预测下一个字符
这是理解 attention 中 q、k、v 各自作用（很多人读完科普仍一知半解）的极好教程，代码已开源。
所属事件:MIT 权重编辑讨论引热议，博主旧文演示手写权重跑通 Transformer(2 条相关)→
「模型」频道最新
- Claude 陪聊名场面：自带情绪模式选择菜单 — repligate · 2026-11-03
- Miles Brundage 吐槽 Claude Code 越来越爱强推后续项目建议 — Miles_Brundage · 2026-11-03
- 实测:Flux2Klein 与 Qwen 2.1 都搞不定人物身高差生成 — Ishelle91 · 2026-11-03
- 网友按公开日志复现被「手术」的 Qwen3.5-0.8B，MATH-500 得 51 分 — _akhaliq · 2026-11-03
- 1a3orn 补充：Claude 的默认答案并非字面默认而是迎合姿态 — 1a3orn · 2026-11-03
- 实测：Claude 首轮回答对齐问题时几乎照搬 Anthropic 立场 — 1a3orn · 2026-11-03