M5 Ultra 跑 Qwen 3.8 Flash Next 预填充达 3100 tok/s
GabGarrett · x · 2026-09-22
mweinbach 让 astra 优化 Qwen 3.8 Flash Next 在 M5 Ultra 上的运行,目前预填充(prefill)速度已达约 3100 tok/s。GabGarrett 评论:虽然 Spark 粉丝忙着嘲弄 Ultra,但这块硬件可能被证明是性能怪兽。信号:新一代苹果芯片统一内存对本地大模型推理的吞吐表现值得期待。
「Infra」频道最新
- 推理芯片公司 Fractile 融资 7.2 亿美元，Thrive 与 Founders Fund 领投 — Tom_Westgarth15 · 2026-11-12
- 独立开发者用 Rust 写整套 AI OS：无头运行，跑 Qwen3 27b 比 Ubuntu 快 — W61k3r · 2026-11-12
- OpenRouter 新路由算法见效:GLM 5.3 Flash 首字延迟降 40%、单价降 17% — AccBalanced · 2026-11-12
- AMD 与 Dell 拿下 182 项世界纪录，EPYC 性能提升 94% — AccBalanced · 2026-11-12
- KubeCon 主题演讲：计算系统正从人类速度转向 Agent 速度 — HowDevelop · 2026-11-12
- 曝 Meta 基础设施负责人 Santosh Janardhan 将于 2027 年初离职 — dinabass · 2026-11-12