Gemma.c:单文件 C 实现 Gemma 1/2/3 多模态推理,纯 CPU 跑 72 tok/s
This-Purchase-3325 · reddit · 2026-11-16
- 开源项目 Gemma.c:从零实现的 Gemma 1/2/3 推理引擎,全部在一个 C 文件内,仅依赖 libc(可选 OpenMP),支持 fp32/fp16/bf16 与 int8(W8A8)权重。
- 支持多模态:prompt 里用 @image{cat.png} 插图,@longimage{} 用 Gemma 3 的 pan & scan 处理超宽/高图片;图像解码用内嵌的精简 stbimage。
- 性能(Core Ultra 5 225H,WSL2,10 线程):gemma-3-1b-it INT8 解码约 72 tok/s、prefill 约 570 tok/s(10000 tokens;1000 tokens 可达约 850 tok/s);4B 视觉模型约 20 tok/s 解码;INT8 比 fp32 快约 3.5 倍、比 fp16 快约 2 倍。
- 已知限制:W8A8 不支持 Gemma 1、无 AVX512-BF16 时 bf16 很慢、原生 Windows 比 WSL 慢约 1.7 倍、不支持 batching;README 有路线图(Gemma 4、speculative decoding、HTTP server)。
- 作者已在 HF 放了预导出的 INT8 模型,无需 Python/torch 即可试用;项目灵感来自 llama2.c,定位为端到端理解 LLM 的学习型实现。
「Infra」频道最新
- Sarvam 在印度上线 Token Factory 托管开源模型推理 — itsOmSarraf_ · 2026-11-16
- BIS 规则原文:封堵先进 AI 芯片的远程访问通道 — apples_jimmy · 2026-11-16
- 越狱PS4直连2013年GPU跑9B开源模型,速度达43 tokens/s — AIFlow_ML · 2026-11-16
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16
- vLLM 单 GB300 机架跑 DeepSeek V4.1 Flash 达 954K tokens/s,每小时收入 39 美元 — bookwormengr · 2026-11-16
- 博主测算:Colossus 2 的 120 万块 B200 年推理产出可达 4000 亿美元 — bookwormengr · 2026-11-16