逆向 RK3588 NPU：开源编译器实现 GPT-2 跑出 36 tok/s
one_does_not_just · reddit · 2026-08-20
作者分享了历时一年对 RK3588 NPU 的逆向工程成果。通过破解寄存器格式，构建了完全开源的编译器与运行时，实现了在不依赖厂商 SDK 的情况下，直接从 PyTorch、ONNX 和 JAX 运行模型。
成果：
- 支持 GPT-2 和 SigLIP 模型在 RK3588 NPU 上运行。
- GPT-2 推理速度达到 36 tok/s。
- 提供了完整的技术博客与详细报告，涵盖了从内存破解到编译器架构的实现细节。
「Infra」频道最新
- 旧金山办「算力交易大厅」：买家卖家面对面签算力协议 — ctjlewis · 2026-10-16
- Temporal Serverless Workers 登陆 Cloud Run:按任务队列自动伸缩、可缩至零 — rseroter · 2026-10-16
- LMA day-0 支持扩至四大芯片:TPU 上首次实现模型零日上线 — ying11231 · 2026-10-16
- Semtech 分析师日幻灯片讲透信号完整性：衰减、带宽、非线性、噪声四大损伤 — BenBajarin · 2026-10-16
- Fortytwo Engine 用 Swarm Inference 让 Qwen3.8-27B 准确率升 7%、token 省 25% — rohanpaul_ai · 2026-10-16
- 伯克利学者：芯片供应链高度集中，硬件级暂停前沿 AI 可行且可持续 — wfithian · 2026-10-16