Gewell v0.2:全精度 EmbeddingGemma2 压进 1.13GiB 显存
stoppableDissolution · reddit · 2026-10-12
作者发布自研推理引擎 Gewell v0.2,主打极致内存与吞吐优化。
- EmbeddingGemma2:文本+图像全精度 embedding 总显存占用仅 1.13GiB(host 内存 0.93GiB),通过跨模态工作区复用、embedding 驻留 host 内存、单一 cublas handle 等手段实现;与 sentence-transformers 参考实现的余弦相似度三九以上,图像 embedding 精度显著优于 llama.cpp 与 vLLM(均值 0.9997 vs 0.9864/0.9512)
- 26B-A4B 支持:prefill 较 vLLM 快 10-74%,上下文越长优势越大;显存占用仅 0.625×
- 31B:短上下文 mtp-on 大批量 tg 提升 20-24%,多数 kernel 达理论峰值 80-85%
- 意外发现:作者机器上 llama.cpp 与 vLLM 开 FA 反而更慢
「Infra」频道最新
- Modal 开源 Spindle：Tinker 兼容训练服务器，按 GPU 计费不再按 token 付费 — andersonbcdefg · 2026-10-23
- Intel CTO：芯片产能最多翻倍，追不上 AI 算力每年 3 倍增速 — SammaVaco · 2026-10-23
- 工程师拆解投影电视唤醒慢根因：双 Linux 板冷启动拖慢 10 秒 — banteg · 2026-10-23
- Ollama CEO 称企业级 AI 正迎来它的 PC 时刻 — ollama · 2026-10-23
- Modal 开源 Spindle：Tinker 兼容自托管训练服务器，按 GPU 计费替代按 token 计费 — josh_wills · 2026-10-23
- Aleph Alpha 拆解 RL 环境基建踩坑:GPU 停摆、磁盘爆满、沙箱崩溃被记为答错 — _ScottCondron · 2026-10-23