4GB 显存笔记本上单挑 llama.cpp：Rust 自研推理引擎 ge 实测
Raptor2496 · reddit · 2026-11-12
Reddit 用户发布自研 GGUF 推理引擎 ge（纯 Rust，约 4 MB 单文件，自带 int8/AVX2 CPU 内核与 Vulkan GPU 内核，支持 CPU/GPU 自动切分，内置 OpenAI/Anthropic 兼容 server），并在 RTX 3050 Laptop 4GB（35W）上与 llama.cpp b9102 Vulkan 背靠背对比：
ge 占优
- CPU prompt 处理（Qwen3-4B Q4KM）：512 tokens 时 84 vs 59 tok/s，2K 时 65 vs 51
- 内存峰值：8B 混合模式 2.4 GB vs 4.7 GB
- 默认 8-bit KV cache 无速度损失；8K 上下文 CPU 生成 6.4 vs 3.6 tok/s
- 16K 上下文溢出 4GB 显存时生成 37 vs 22 tok/s
打平：CPU 生成（均受内存带宽限制）；8B 混合生成 13.8 vs 13.0 tok/s
llama.cpp 占优：GPU prompt 处理（1282 vs 968 tok/s，用了 cooperativematrix2 特性）；架构/量化/后端生态广度。
注意事项：仅一台机器测试，源码未公开（仅 Win/Linux 二进制），许可证待定。作者征集大家在 AMD/Intel GPU、AVX-512 等硬件上跑 ge bench-all 帮忙测试。
「Infra」频道最新
- 开发者开源 PrefixRelay:让 Cursor 稳定复用 KV 缓存跑本地模型 — jjusko20 · 2026-11-12
- Rust 推理引擎 Kinetic 实测 0.13 秒答 2.2 万 token 文档,比 llama.cpp 快 84 倍 — jasonkneen · 2026-11-12
- HP 开卖 $13.2 万 GB300 工作站：748GB 统一内存可本地跑万亿参数模型 — gnukeith · 2026-11-12
- GitHub CI 分钟不够用，开发者晒 M5 Ultra Mac Studio 求自建 macOS runner — ow · 2026-11-12
- NVIDIA 联手 RadixArk,SGLang Rubin 性能 5 天再提升至 10 倍 — ying11231 · 2026-11-12
- 用 Tailscale+MCP 打通云端 AI Agent 访问家庭网络,还开上了无线电 — Dave_Maynor · 2026-11-12