96GB M3 Ultra 跑什么?Qwen3.5-122B-A10B 达约 1000 tok/s
infieldmitt · reddit · 2026-09-17
Reddit 用户询问 96GB 内存的 M3 Ultra Mac Studio 上本地模型怎么选,想要编码能力和情感化写作兼顾。作者吐槽当前模型要么约 30B 要么过大,曾同时跑两个 Qwen3 27B 实例(一个编码一个聊天)来吃满内存,但意识到 MoE 模型预处理极快、切线程上下文开销小,双实例意义不大。刚下载了 Qwen3.5-122B-A10B,速度高达约 1000 tok/s,理解提示词比小模型更透彻,但担心「3.5」版本号是不是 inferior 或错过了什么创新,发帖求证。
「Infra」频道最新
- Tailscale 成众多创业公司单点故障,被巨头收购引发热议 — TheZachMueller · 2026-11-02
- Gary Marcus:多米诺骨牌开始倒下,算力将重演光纤过剩 — GaryMarcus · 2026-11-02
- 单台 H200 跑不动 DeepSeek 4.1 Flash,两台每小时 10.59 美元 — daluoseo · 2026-11-02
- 所有系统知识都将汇入推理与硬件,AI 时代技能版图正在重写 — Abhishekcur · 2026-11-02
- AWS 被曝算力订满至 2027,专家称「卖光」说法需看语境 — DavidLinthicum · 2026-11-02
- 富士康董事长刘扬伟:AI 不是泡沫,产品需求依然明确 — pstAsiatech · 2026-11-02