16GB M2 Pro 跑 Qwen 量化版：120k 上下文仍有 5.5 tok/s
SocietyTomorrow · reddit · 2026-11-07
Reddit 用户在准备出售的 16GB M2 Pro Mac Mini 上尝试运行 Qwen 量化模型（iQ3xxs 量化，最大 128k 上下文），实测结果远超预期。
- 用 opencode 编写基准脚本，测试 16k120k 不同上下文下的速度与输出质量，任务以大型 CSV 排序和低端代码杂活为主
- 全部测试的中位速度为 77 tok/s prefill、5.5 tok/s decode；由于 MoE 专家跨 prompt 交换、无法缓存，速度基本不受上下文长度影响
- 结论：可以勉强充当聊天模型，也能作为"拨号上网级"的最后手段编程助手；SSD 写入负载偏重，但与活跃 DB 服务器相当
「Infra」频道最新
- Baseten Loops 正式 GA 转向 serverless,主打 SFT/RL 训练按 token 计费 — baseten · 2026-11-07
- Rust 推理引擎 Saber：Qwen 27B 预fill 冲上 6645 tok/s — whodoneit1 · 2026-11-07
- 800 美元升级 128GB 内存主机跑 MoE？ Reddit 热议性价比 — Juan_Phoenix7 · 2026-11-07
- Kimi K3.1 Pro 发布首日晒 SemiAnalysis 实测：MI355X 上每美元吐 4500 万 token — AnushElangovan · 2026-11-07
- 开源 Aspen：专为 agent 设计的 Git 服务器，单仓每秒 567 次推送 — sloppenheimer · 2026-11-07
- 分析师：Agent 规模化将引爆企业存储需求，80% 非结构化数据待激活 — BenBajarin · 2026-11-07