Gemma 4 26B 在 16GB Mac 离线跑 TypeScript 测试,33/40 分、31 tok/s
Mission-Sir-1614 · reddit · 2026-10-26
Kraits(llama.cpp 插件)在 16GB Mac mini M4 上直接加载 Google 官方 14.4GB 的 Gemma 4 26B-A4B QAT Q40 文件,无需任何裁剪:
- 方法:按各层专家在 TypeScript 任务上的热度图,把每层 128 个专家中最热的 80 个放上 GPU;换一张热度图即可让同一文件服务不同任务,运行期间不读 SSD。
- 成绩:5 个 TypeScript 任务严格编译+Jest 执行评分,总分 33/40(31 tok/s 离线写入)。除 Jest 套件仅 2/8 外,其余四项 31/32,略超此前裁剪版 Qwen3.6-35B TS Edition(31/40),但落后 GPT-5.4 mini(40/40)。
- 确定性:两台不同 Mac 用同一 prompt 产出字节级相同的代码;温度 0 单次运行,未做 5 次取中位数。
- 限制:22K token 长 prompt 首字延迟 231 秒,且为腾显存每层只保留 64 专家,长编码任务质量下降;热度图基于 TypeScript 构建,其他任务未测。
结论:开源模型在 16GB Mac 上离线编码已接近云端水平,但复杂测试生成仍是短板。Kraits 以 Apache 2.0 开源。
「Infra」频道最新
- Meta 拟融资最高 950 亿美元，全力押注 AI 扩张 — Polymarket · 2026-10-26
- SpaceX 与 Apollo 达成 400 亿美元 GPU 融资租赁，史上最大规模 — firstadopter · 2026-10-26
- NBIS CEO:上周起债市对 Neocloud 关门,改靠客户预付款续命 — zephyr_z9 · 2026-10-26
- CoreWeave 五年期 CDS 飙至约 1100bps，市场担忧 AI 泡沫以信贷危机开场 — kimmonismus · 2026-10-26
- AI 需求重塑云计算：算力稀缺、长期合约取代按需模式 — DavidLinthicum · 2026-10-26
- 黄仁勋：AI 工厂软件每 GPU 每年收约 2000 美元，百万卡即 20 亿美元 — LinusEkenstam · 2026-10-26