M3 Max 本地跑 Inkling 2 Mini 内存从 46.2GB 降到 9.9GB,速度约 29.6 token/s
GabGarrett · x · 2026-11-22
Apple Silicon 本地 AI 的实用进展:Arthur Zucker 为 Inkling 2 Mini 在 Hugging Face Transformers 中加入了原生 NVFP4 和 MXFP8 的 Metal 内核,使模型的专家权重可保持量化状态驻留内存,无需解包。
实测效果(转发者 bebuuai 引述):在 M3 Max 上内存占用从 46.2 GiB 骤降至 9.9 GiB,logits 完全一致,速度约 29.6 tokens/s。这意味着 16GB 和 24GB 内存的 MacBook 也能实际跑起 Inkling 2 Mini,对本地 AI 生态是显著改进。
「Infra」频道最新
- 26.4B 无审查模型 Inkling 2 Mini 可在 12GB 笔记本本地跑 — udmrzn · 2026-11-22
- 预测:单个任务的训练算力成本可能只有几美分甚至更低 — 1a3orn · 2026-11-22
- Bittensor 矿工「攻击」Chutes 一年,用数百万美元激励锤炼出端到端 TEE — const_reborn · 2026-11-22
- 开发者把 1.5B 模型微调成离线 Linux 命令助手,CPU 上 2 秒出答案 — Arch-r007 · 2026-11-22
- OpenRouter 一个月内曝两起泄露:MiniMax 请求的 prompt 疑被读取 — const_reborn · 2026-11-22
- capy-flash v0.16 用两张 16GB 50 系显卡跑通 Inkling 2 Mini,254k 上下文 — FeydRowan · 2026-11-22