MacBook 能跑 284B 模型，腾讯 Palm-Infra 开源
dr_cintas · x · 2026-08-26
腾讯开源 Palm-Infra 框架，使得在 Apple Silicon 上本地运行超大参数模型成为可能。实测显示，DeepSeek-V4-Flash (284B) 在 M5 Pro 上可达 5.71 tps，显存占用 20GB；另一 122B 模型达 16.53 tps。该框架利用 Metal、CPU SIMD 和 SSD 专家卸载技术，突破了 llama.cpp 的加载限制。
所属事件:腾讯开源 Palm-Infra，MacBook 可本地跑 284B 模型(2 条相关)→
「Infra」频道最新
- Bloomberg 算账:得州 AI 数据中心 1GW 场地建设成本失控 — rohanpaul_ai · 2026-10-15
- 系统设计面试必懂的 7 个分布式算法 — goyalshaliniuk · 2026-10-15
- 面壁 MiniCPM-V 4.7 端侧跑 35B 多模态,仅 3GB 内存、每 token 激活 3B — nevrekaraishwa2 · 2026-10-15
- Sipeed MaixStation 产品页上线，端侧 AI 开发套件来了 — xlltt · 2026-10-15
- 英伟达市值已超过印度整个股市 — theteknosaur · 2026-10-15
- 实测 Apple Silicon GEMM 性能:M6 矩阵单元 fp8 达 fp16 两倍,M5 不支持 — Brilliant-Hall1387 · 2026-10-15