Gemma 4 推理速度翻倍，MLX 挑战赛性能提升 130%
TheMoonMidas · x · 2026-09-02
Gemma 4 模型在 MLX 框架下的性能优化取得突破，当前解码速度达到 560 tps，预填充速度达 7k tps（8 个并发请求），相比原始基准实现了 130.7% 的性能提升。该优化工作将被整合进 @darkbloomai。
所属事件:Gemma 4 26B 在 Mac 端推理速度翻倍(3 条相关)→
「Infra」频道最新
- DFB 激光器耦合薄膜铌酸锂芯片：最高 170mW、阈值仅 40-45mA — jwt0625 · 2026-10-18
- 5070 Ti 外挂 3070 混搭跑 Qwen 35B 达 82 tok/s — hereforcheesee · 2026-10-18
- 中国在建/规划功率半导体晶圆厂达 69 座,遍布 58 家厂商 — zephyr_z9 · 2026-10-18
- 研究测算：AI 数据中心每年需 3.5 万亿美元收入才能撑住 — TheseFact · 2026-10-18
- SGLang Summit 赞助商一周从 11 家增至 36 家,嘉宾含 Lilian Weng — BanghuaZ · 2026-10-18
- Yacine 自嘲：绩效按吉瓦时算，不够烧电会被半夜叫醒 — yacineMTB · 2026-10-18