UC Berkeley 开源 FreeToken：消费级硬件跑前沿 MoE 模型
petrusenko_max · x · 2026-11-10
UC Berkeley 开源了 FreeToken，一个面向边缘设备的推理引擎，可在消费级硬件上运行前沿规模的 MoE 模型。核心思路是将 GPU、CPU、主机内存与 PCIe 互联统一为一个推理平台。
- 原理：以 DeepSeek-V4-Flash 这类模型为例，总参数 284B 但每 token 仅激活 13B（每层 256 个专家中路由 6 个），单 token 计算量可行，瓶颈在于全部专家权重需驻留内存，远超显存容量
- 两级层级设计：非专家权重常驻 GPU，所有专家权重放在主机内存，按需调度
- 实测：博主在一台 Mac mini 上跑了 93 个定时推理任务；两个 MoE 任务共享一条 PCIe 链路时，调度策略会针对不断变化的带宽动态调优
「编程与Agent」频道最新
- Brown PLT 提出「人类判断即规格」：不用读形式语言也能用好 LLM — ezyang · 2026-11-10
- 开源 text-to-kicad 插件：让编码 Agent 直接设计 PCB 电路板 — sidahuj · 2026-11-10
- 新潮 Agent Harness 的共同点：都跑在 Cloudflare Durable Objects 上 — irvinebroque · 2026-11-10
- 开发者自制菜单栏应用:一个 PTT 键管 4 组语音 Agent 配置 — jh3yy · 2026-11-10
- LlamaParse 生产部署五种姿势，核心问题：文档放哪 — llama_index · 2026-11-10
- 开发者推 agmi v0.1:确定性代码管调度，Agent 只负责推理去挖 MinePOA — adamamcbride · 2026-11-10