MacBook 能跑 284B 模型,腾讯 Palm-Infra 开源

dr_cintas · x · 2026-08-26

腾讯开源 Palm-Infra 框架,使得在 Apple Silicon 上本地运行超大参数模型成为可能。实测显示,DeepSeek-V4-Flash (284B) 在 M5 Pro 上可达 5.71 tps,显存占用 20GB;另一 122B 模型达 16.53 tps。该框架利用 Metal、CPU SIMD 和 SSD 专家卸载技术,突破了 llama.cpp 的加载限制。

所属事件:腾讯开源 Palm-Infra,MacBook 可本地跑 284B 模型(2 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →