仅 700 行 C 实现现代 LLM：Gemma 4 推理解析
Critical_Physics8 · reddit · 2026-08-28
作者发布了 gemma4.c 项目，用约 700 行 C 代码实现了 Google Gemma 4 E2B 模型的完整推理运行时。
项目特点：
- 单文件实现，无外部依赖，便于阅读和学习
- 从底层实现 tokenizer、Transformer、KV cache、采样和 CPU kernels
- 旨在帮助开发者深入理解 LLM 推理的代码实现细节
性能优化：
- 使用 int8 权重和激活值量化
- 利用 OpenMP 并行计算
- 支持 AVX2 和 AVX-512 VNNI 指令集
性能表现 (Ryzen 7 7700)：
- Prefill: 639 tok/s (512 tokens)
- Generation: 25.9 tok/s
- 速度超越 llama.cpp
GitHub Repo
「Infra」频道最新
- 微软教程：如何在 Foundry 资源中配置 AI 网关 — adnan_hashmi · 2026-08-28
- Marin 535B-A23B 训练进度 7%，团队将分享设计决策与权衡 — bariskasikci · 2026-08-28
- 12GB 显存可跑 27B 模型，Qwen 3.8 量化实测 — Square_Light1441 · 2026-08-28
- OpenAI 推理栈全用汇编写成，传统框架正消失 — SumitGup · 2026-08-28
- 构建 OpenAI 应用时如何应对平台被黑或宕机？ — Astrokanu · 2026-08-28
- 亚马逊宣布9月底关停众包平台MTurk — 量子位 · 2026-08-28