把 TPU 编译进 Qwen 权重：0.8B 模型跑出精确矩阵乘法
CatAstro_Piyush · x · 2026-11-04
开发者 Bobliuuu 发布了开源项目 qwenTPU：在不训练、不用 TPU 硬件的前提下，把一个权重驻留式矩阵乘阵列（最高 32×32，每次 matvec 1024 个 MAC，支持 5-bit 操作数）编译进原版 Qwen3.5（0.8B/2B/4B）的新增层中，Qwen 自身权重完全不动。
关键结果：
- 输出与 NumPy 整数精确一致：四台机器上重放 1,139,712 个 token 位置零不匹配
- 纯文本生成能力不受影响（KL 散度仅 3e-4 至 8e-4）
- 提供两个版本：v1 做精确 matmul，v2 在同一套权重里运行一个真实的神经网络程序，复用 Gated DeltaNet 层作为内存与寄存器
这是继「在 LLM 权重里实现 CPU、GPU、文件系统」之后的又一极端玩法，代码 MIT 协议开源，并附演示视频与技术 write-up。
「研究」频道最新
- Anthropic 称将「即将」达到 RSP 加速 AI 研发阈值，并发布可证明推理研究 — tobyordoxford · 2026-11-04
- Google 扫描 1033 件真实家居品,打包成 345MB GLB 免费开放 — victormustar · 2026-11-04
- 这 10 篇 GPU 优化论文决定了今天模型跑得多快 — NandoDF · 2026-11-04
- 实测推翻常见建议：INT8 几乎无害，采样器才是关键 — YakovSava · 2026-11-04
- Karpathy 带火 HN 开源数据集：千万级帖子可当知识库直接用 — huangyun_122 · 2026-11-04
- PixelCraft 多智能体框架登场：专治多模态模型读图表翻车 — burkov · 2026-11-04