一人在 Mac Studio 训 35 个领域 LoRA：审计显示多数打不过 35B 基座
Holiday_Poetry_5133 · reddit · 2026-11-08
一位 Reddit 用户用 MLX 在一台 Mac Studio M3 Ultra（512GB，BF16 全精度）上为 Qwen3.6-35B-A3B（256 专家 MoE，激活 3B）训练了 35 个领域专家 LoRA，全部 Apache-2.0 开源，包括适配器、数据集、路由器和训练脚本。
关键踩坑与结论：
- 量化融合不可行：把 MoE LoRA 融合进 8-bit 量化模型产出垃圾，唯一可用方案是运行时 BF16 适配器热切换（单基座常驻 + 按请求换适配器，切换约 2 秒）。
- 路由是短板：MiniLM 路由器在 34 个领域上 top-1 仅 46%，top-3 70%。
- 负结果：独立审计基准上，基座 35B 模型击败了绝大多数专家 LoRA，只有 HTML/CSS 一个领域明显获益——作者现在几乎全部流量直接走基座，并认为公开负结果比隐藏更有价值。
- MLX 随机数不 bit-exact：mx.random.normal 在 M1 与 M3+ 之间结果不一致，已上报并合并文档 PR。
作者在帖末询问：是否有人在 30B 规模、不做全参数训练的前提下让领域 LoRA 打过强 MoE 基座？
「Infra」频道最新
- antirez：本地推理多为单用户场景，pi/opencode 挂本地服务器即可 — antirez · 2026-11-08
- antirez 释疑本地推理：大 batch 自动切换 layer-major，速度接近全驻留 — antirez · 2026-11-08
- Vitalik 力挺反数据中心运动：算法进步让大算力不再必要 — paulnovosad · 2026-11-08
- AI 需求与成本同呈指数变化，评论称无需 FOMO — oran_ge · 2026-11-08
- 别人梦想兰博基尼，他只想要一块 NVIDIA Vera Rubin — AIFlow_ML · 2026-11-08
- 三星、SK海力士、美光联手推进晶圆厂机器人标准，瞄准2030全自动化产线 — zephyr_z9 · 2026-11-08