FreeToken 系统让 RTX4060 笔记本流畅跑 35B 大模型
机器之心 · wechat · 2026-08-22
核心成果
UC Berkeley、MIT 等团队联合开源了端侧推理系统 FreeToken，专为 MoE（混合专家）模型设计。它打破了硬件门槛，使得笔记本 RTX4060 可运行 Qwen3.6-35B（39.3 token/s），桌面 RTX5090 可运行 DeepSeek-V4-Flash（284B 参数），且均为单卡满血版。
技术亮点
- 全层双缓冲：计算与数据搬运完全重叠，消除 I/O 等待气泡。
- 带宽自适应混合调度：实时探测 PCIe 带宽与 CPU 算力，动态分配 GPU 与 CPU 的计算任务，将吞吐拉满。
- 面向 Agent 的状态复用：在 Token 边界设轻量级检查点，上下文修改时仅从最近锚点增量恢复，减少 65-80% 的首 Token 延迟（TTFT）。
- 弹性显存热扩缩容：后台应用抢占显存时，自动收缩 GPU Cache，将计算转交 CPU，保证服务不中断（0 停机开销）。
解决的痛点
- 传统 CPU-GPU 权重卸载受 PCIe 带宽限制，速度极慢；FreeToken 实现了“交互级实用速度”。
- 解决了 MoE 模型 Prefill 阶段稀疏性被破坏导致的 I/O 阻塞问题。
- 无需死磕 100% 显存，利用 CPU 内存+PCIe 通道实现高性价比本地部署。
实用性
- 已提供 Windows/Linux 桌面 App 及 CLI。
- 证明了让大模型普及的关键不仅是权重开源，更是端侧调度系统的工程重构。
所属事件:伯克利MIT开源FreeToken：消费级PC本地跑前沿MoE大模型(11 条相关)→
「Infra」频道最新
- x86 开机数毫秒重演 40 年计算史：16 位实模式到 64 位长模式的四级接力 — lauriewired · 2026-10-16
- 推理平台 engy.ai 单日处理超 500 亿 tokens,主打低价开源模型 — const_reborn · 2026-10-16
- 新推理引擎『e』单台 DGX Station 跑出 10500 tok/s 聚合吞吐 — brandon_galang · 2026-10-16
- SGLang Day-0 支持 FLUX 3 Image Klein：单图 10 参考图，BF16/FP8/NVFP4 多精度 — ying11231 · 2026-10-16
- 英伟达 Nemotron 3.5 Super VL 上线 CoreWeave：12B 激活参数多模态 MoE，输入仅 $0.25/百万 tokens — wandb · 2026-10-16
- 2026 晶圆厂设备支出上调至 1530 亿美元，设备周期被拉长 — BenBajarin · 2026-10-16