独立模型 Glimmer 技术细节曝光:MacBook 上 4-bit 量化跑到 50 tok/s
TimDarcet · x · 2026-10-08
开发者 TimDarcet 公布其模型项目 Glimmer 的首批技术细节,完整技术报告即将发布:
- 训练流程:预训练 → 推理中期训练 → LC(131k 长上下文)→ SFT → RL 蒸馏 → RL,训练全程伴随软蒸馏(Soft distillation),使用 Spark。
- 数据:为智能体场景与隐私合成数据。
- 端侧部署:4-bit 量化 + DFlash,在 MacBook 上达到 50 tok/s。
所属事件:开源模型 Glimmer 曝光：MacBook 量化后 50 tok/s(2 条相关)→
「Infra」频道最新
- 开源推理云操盘手:算力若转向开源模型,缺口只会更大 — gharik · 2026-10-08
- 旧金山全票通过临时禁止新建数据中心的法案 — Polymarket · 2026-10-08
- Genesis Mission 伙伴承诺 24 亿美元算力,NSF 再投 1 亿 — AllThingsApx · 2026-10-08
- AWS CEO 深谈智能体时代转型:2026 年 CapEx 2200 亿、订 200 万块 GPU — a16z · 2026-10-08
- Reddit 玩家把闲置 NPU 用起来:70W 平板跑 125B MoE 替代 95% 云端调用 — stereohype · 2026-10-08
- 英伟达参投数据中心公司 IPO 需求骤降,AI 资金热现裂缝 — SumitGup · 2026-10-08