逆向 RK3588 NPU：开源编译器实现 GPT-2 跑出 36 tok/s
one_does_not_just · reddit · 2026-08-20
作者分享了历时一年对 RK3588 NPU 的逆向工程成果。通过破解寄存器格式，构建了完全开源的编译器与运行时，实现了在不依赖厂商 SDK 的情况下，直接从 PyTorch、ONNX 和 JAX 运行模型。
成果：
- 支持 GPT-2 和 SigLIP 模型在 RK3588 NPU 上运行。
- GPT-2 推理速度达到 36 tok/s。
- 提供了完整的技术博客与详细报告，涵盖了从内存破解到编译器架构的实现细节。
「Infra」频道最新
- Ramp 推出模型路由 Router，称已自用三年优化成本 — himanshustwts · 2026-08-20
- S3 原生产品正成为开发者新趋势 — DanielLockyer · 2026-08-20
- 终端工具 cmux 被曝内存占用过高 — DanielLockyer · 2026-08-20
- 劳登县靠数据中心暴富，居民担忧过度依赖 — AndyMasley · 2026-08-20
- 开发者单周 Token 调用量突破 10 亿 — jh3yy · 2026-08-20
- 数据中心建设遭邻避，视作反乌托邦背叛 — ai · 2026-08-20