Sushi 量化引擎发布 2.6bpw 极限量化,Qwen3.8 43.8GB 塞进 64GB Mac
alexcovo_eth · x · 2026-09-28
Sushi 是一个面向 Apple Silicon 的自定义推理引擎(mlx-serve 的 fork),专注于用自研「sushi 量化」格式在 M5 Max 级芯片上运行选定模型,混合 EXL3 与 affine 量化格式。
- 最新发布 Qwen3.8-Flash-Next-Sushi-2.6bpw,权重仅 43.8GB,是目前最小的 sushi 量化版本,64GB 内存的机器即可本地运行
- 另有 3bpw(需 64GB+)和 4bpw(需 96GB+)版本
- 开源在 GitHub,可独立运行也可作为 mlx-serve 的客座引擎,演示中已在本地生成内容
「Infra」频道最新
- 谷歌宣布 Gemini 3.5 Flash 可在断网气隙环境运行 — shashib · 2026-11-16
- Gemma.c:单文件 C 实现 Gemma 1/2/3 多模态推理,纯 CPU 跑 72 tok/s — This-Purchase-3325 · 2026-11-16
- Sarvam 在印度上线 Token Factory 托管开源模型推理 — itsOmSarraf_ · 2026-11-16
- BIS 规则原文:封堵先进 AI 芯片的远程访问通道 — apples_jimmy · 2026-11-16
- 越狱PS4直连2013年GPU跑9B开源模型,速度达43 tokens/s — AIFlow_ML · 2026-11-16
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16