博主逆向剖析 Apple 端侧 20B 模型：MoE 驻闪存仅占 2GiB 内存
julsimon · x · 2026-10-25
julien Simon 指出每台支持 Apple Intelligence 的 Mac 都内置一个 200 亿参数语言模型，可从终端调用。由于 Apple 不发布模型卡，他从外部测量构建了一份：读取文件、内存、功耗、token 计数。
关键发现：
- 模型存放在闪存中，每次 prompt 唤醒少量专家（MoE）在 Neural Engine 上运行；
- 长请求后内存占用约 2 GiB，而同级别常规构建的开源模型要占 15 GiB；
- 训练部分有 Google 参与，工程实现是 Apple 自己的。
所有测量脚本与数据集都开源在 GitHub 上，可在自己的 Mac 上复现。
「Infra」频道最新
- SpaceX 拟再借 400 亿美元买英伟达芯片，太空数据中心遭市场质疑 — jonerp · 2026-10-25
- 马斯克预言部分数据中心将出现「搁浅算力」,Ed Zitron 质疑需求无限论 — mjdramstead · 2026-10-25
- Claude 上架 Google Cloud：Anthropic 托管版正式可用，账单和 IAM 走谷歌 — emmanuelvivier · 2026-10-25
- llama.cpp 新 PR 融合 FFN 矩阵乘，Llama 8B 提速近 10% — jacek2023 · 2026-10-25
- 专业化成本崩塌，任务专属推理引擎正成为 agentic coding 新战场 — _AustinCalvert_ · 2026-10-25
- NVIDIA GTC 柏林展出 8 台 DGX Spark 组成的迷你集群 — MaziyarPanahi · 2026-10-25