开发者绕过瑞芯微 SDK,RK3588 NPU 跑 Qwen3.5-4B 快一倍
Flashy_Squirrel4745 · reddit · 2026-10-21
开发者 happyme531 发布开源项目 openrknpu2lminfer：完全不依赖瑞芯微专有推理库，在 RK3588 NPU 上本地运行 LLM，上层用 Rust 编写、NPU 算子用 C++ 实现，全部代码可读可改。
性能对比 RKLLM 1.3.1（Qwen3.5-4B）
- 512 token 提示词 Prefill：147.83 vs 58.35 tok/s（约 2.5 倍）
- 3800 token 提示词 Prefill：139.92 vs 54.03 tok/s
- 512 token 后 Decode：10.61 vs 5.54 tok/s（约 2 倍）
已支持功能
- 终端聊天与 OpenAI 兼容 API，含流式输出、工具调用、前缀缓存
- Qwen3.5-4B 图像输入
- 已验证 Qwen3-4B、Qwen3.5-4B、Granite-4.2-3B、MiniCPM5-2B 检查点
- 提供 ARM64 Linux 预编译二进制与量化模型链接
后续计划支持 DFlash/DSpark 投机解码及 MiniCPM-V 4.7。项目地址：github.com/happyme531/openrknpu2lminfer
「编程与Agent」频道最新
- Vercel 上线 vercel deploy --temporary,可临时部署后自动清理 — cramforce · 2026-10-23
- 用同一个 Notion 工作区让多个 Agent 互相沟通分工，实测有效 — nbaschez · 2026-10-23
- 实测 12 个 AI 分类器后,作者直言「分类器新热是cosplay」 — KlausCodes · 2026-10-23
- 用 ESP32 小屏给 Claude Code 做 status 卡片，Go 本地检测状态 — tonylook · 2026-10-23
- Agent 调试新玩法:把 agent 指向 AgentsView CLI 让它自己查 trace 找病因 — dbreunig · 2026-10-23
- YC 系 Mireye 推出土地数据 API+MCP，覆盖 1.6 亿地块 — ycombinator · 2026-10-23