MIT 权重编辑讨论引热议，博主旧文演示手写权重跑通 Transformer

MIT 关于 Astra 具备权重编辑能力的讨论近日引发关注，博主 voooooogel 随之重提自己 2023 年的旧文：不依赖训练和预训练权重，亲手为一个 GPT-2 风格的 decoder 逐个赋值参数，从零构建出能完成序列预测的 Transformer。该文为对权重编辑感兴趣的读者提供了可动手实践的入门参考，也在社交平台上获得重新传播。

2026-11-03 ~ 2026-11-03 · 2 条相关