DFlash 2 让 27B 模型在 M5 Max 上跑出 70 tok/s
DevDminGod · x · 2026-08-19
据实测，DFlash 2 使 Qwen3.8-27B 在 Apple Silicon（M5 Max MacBook Pro）上达到 70 tok/s，比标准自回归解码快最多 4.6 倍，且输出结果不变。
DFlash 2 是该技术的下一代版本，由 Z Lab 起步、Inco AI 升级。一个 27B 开源权重模型如今在本地上已足够快，可支撑交互式使用——本地 AI 的提速速度几乎追得上能力进化速度。
所属事件:Inco AI 发布 DFlash 2，MacBook 推理提速至 4.6 倍(4 条相关)→
「Infra」频道最新
- FT 称 AI 算力债券面临「达尔文时刻」，CoreWeave 债价暴跌 — firstadopter · 2026-10-16
- 手机当界面、家里服务器跑模型:一套本地 AI 双工作流 — EAccelerate_42 · 2026-10-16
- 「数据中心就是银行」:CoreWeave 风波引出算力监管类比 — arthurcolle · 2026-10-16
- DOT-MoE:用最优传输把稠密模型改造成稀疏 MoE — burkov · 2026-10-16
- 斯坦福 CS336:7B 模型权重仅 14GB,训练却要 84GB 起步 — stanfordnlp · 2026-10-16
- NVIDIA NVFP4 新压缩技巧:利用行内尺度相近性省 45-48% 存储且位精确 — TheZachMueller · 2026-10-16