MLX Fast优化Gemma 4 26B:并发解码提速160%,42名贡献者参与
gajesh · x · 2026-09-10
MLX Fast社区通过180项优化,将Google Gemma 4 26B在Mac上的性能提升160.4%。在8个并发请求下,总解码吞吐达654.2 tok/s,平均每个请求81.8 tok/s。该挑战由Darkbloom发起,旨在优化非前沿模型,验证社区协作的可行性。
「Infra」频道最新
- GPT-6 Astra 预训练成本曝光:约 4.32 亿美元 — scaling01 · 2026-09-10
- Gensyn 开源 IR3DE-AXL 原型:无中心网关的集体推理网络 — benfielding · 2026-09-10
- Sam Altman:六年后人均月耗或达 5000 亿 token — rohanpaul_ai · 2026-09-10
- 报告:AI 服务器正分裂为三个市场,约 100-150 万台本地服务器待换新 — BenBajarin · 2026-09-10
- Marvell 加码扩产押注规模化,分析师点出基板产能是AI芯片稀缺环节 — BenBajarin · 2026-09-10
- Marvell 高管解释定制 ASIC 低毛利高经营利润率的 NRE 算账逻辑 — BenBajarin · 2026-09-10