5KB 纯 x86 汇编跑 Gemma-2B:CPU 上 4.6 tok/s
tom_tsai28 · reddit · 2026-10-04
开发者 tomtsai28 分享了个人项目 PULSAR-ASM:完全用扁平 x86-64 汇编(FASM)手写、为 Gemma-2B 打造的推理引擎,探索在裸金属上运行自回归 LLM 的最小足迹。
关键数据:
- 总机器码仅 5.2 KB(引擎 3.7 KB + 自定义 AVX2/F16C GEMM 内核 1.5 KB)
- 纯 AVX2 + F16C,自定义 4 线程 SMP GEMM 做 prefill,在普通 DDR4-2400 上跑出约 18.5 GB/s 内存带宽
- 老款四核 i5 桌面 CPU 上 FP16 解码速度 4.54.7 tok/s
- 零 C/C++ 运行时、零 PyTorch,Python 端只用 ctypes 调 VirtualAlloc 和系统线程
作者表示无意与 llama.cpp 竞争,而是第一性原理地探究现代 Transformer 能多干净地映射到裸硅,并为未来 MCU/DSP 等资源受限平台上的微型 LLM 提供参考。代码与架构复盘文档已在 GitHub 开源。
「Infra」频道最新
- DeepMind 研究员估算:全球有效算力每年增长至少 10 倍 — 141_1337 · 2026-11-20
- GPU 短缺之辩:真有 AI 需求的公司仍在被算力饿死 — matt_slotnick · 2026-11-20
- 微软 Bing Web IQ 全面开放:Auto 编排多源检索,为 Agent 提供实时世界知识 — dejanseo · 2026-11-20
- exe.dev 发布 Rex 集成:远程 VM 正成为 agent 时代的主工作台 — davidcrawshaw · 2026-11-20
- 业内人士判断:CUDA 与 ISA 都不再是护城河,芯片创新潮将至 — IgorCarron · 2026-11-20
- MIT 与 NVIDIA 推出 QDA:用智能体自动设计量化方案,64 GPU 小时超越最强人工配方 — omarsar0 · 2026-11-20