QwenPU:在 Qwen 3.5-4B 权重里编 NPU,跑 Karpathy 的 stories260K
LatentSpacer · reddit · 2026-11-01
此前把 RISC-V CPU 塞进 Qwen 的同一位作者(divagr18)推出 QwenPU:让 Karpathy 的 stories260K 模型运行在编译进 Qwen 3.5-4B 权重内部的 NPU 上——LLM 里跑 LLM。
- stories260K 本质是个 C 程序;作者把一个能做 matmul、softmax、attention 且 bit-exact 的 NPU 编译进 Qwen 的权重,stories260K 的权重存放在 Qwen 自己的内存中,不借助任何外部工具
- 配图展示 QwenPU 界面:向量单元位于 Qwen 的 DeltaNet state 内,含 VMAT/VEW/VQ 等 64 int8 lane 指令,三套实现(Plain C int8 / Qwenputer NPU / QwenPU)逐步对比 trace
- 作者生病中,完整技术博客和优化、体积缩减仍在进行中;代码和权重已开源在 GitHub 和 Hugging Face
「研究」频道最新
- arXiv 论文《Do AI Scientists Know What's New?》：逐条 claim 判新颖降误杀 — rohanpaul_ai · 2026-11-01
- UIUC 论文：AI 新颖性检查误杀 96% 人类科学家真选题 — rohanpaul_ai · 2026-11-01
- 机器人灵巧手该牺牲哪根手指？小指位置藏着力学杠杆奥秘 — chris_j_paxton · 2026-11-01
- 普林斯顿王梦迪等将发布 LabOS：AI+XR+机器人的 AI 共同科学家 — lihua_lei_stat · 2026-11-01
- MIT 媒体实验室启动 ScienceClaw AI for Science 黑客松 — ProfBuehlerMIT · 2026-11-01
- TEM 论文：首个可规模化的对比能量模型，泛化与 OOD 检测胜扩散模型 — Total-Resort-3120 · 2026-11-01