纯 NumPy 手写 Transformer,约 6.8 万参数自学会「看对地方」排序

dima806_dima · x · 2026-10-13

Dima lakubovskiy 发布长文《I Built a Transformer From Scratch in NumPy, and It Learned to Sort by Looking in the Right Place》：不用 GPU、不依赖任何深度学习库，从零用 NumPy 实现一个约 68,000 参数的小型 Transformer，每一行代码都可读。

这个模型学会了完成排序任务——而且是通过学会「在正确的位置查找」来实现的，把注意力机制的工作原理拆解成可以逐行读懂、逐行验证的最小实现。适合想真正理解 Transformer 内部机制而不停留在框架调用的开发者。