FreeToken：RTX 4060 笔记本跑通 MoE，性能提升显著
jiqizhixin · x · 2026-08-26
UC Berkeley、MIT 和 UT Austin 联合发布了 FreeToken，一个专为消费级硬件设计的 MoE 模型全栈服务系统。该系统通过带宽自适应执行，根据实时总线条件动态在 CPU 和 GPU 之间拆分计算，并结合轻量级 Token 边界检查点以复用多轮对话状态。实测数据显示，在笔记本 RTX 4060 上可达 39.3 tokens/s，TTFT 降低 42-58%，多轮 Agent 延迟降低 65-80%，甚至在单张 RTX 5090 上可全速运行 DeepSeek V4-Flash。
所属事件:伯克利等校开源 FreeToken，消费级硬件跑 MoE 大模型(5 条相关)→
「Infra」频道最新
- 微软深度优化 Windows 迎接 Nvidia RTX Spark：两步装好本地 AI agent — tomwarren · 2026-10-15
- 微软联手Nvidia优化Windows,为RTX Spark Arm笔记本铺路 — The Verge AI · 2026-10-15
- 全球智能手机出货量暴跌 22%,创史上最大季度跌幅,元凶是 AI 抢内存 — Polymarket · 2026-10-15
- SK 海力士再跌 11%:已低于 2027 财年预期利润 3 倍市盈率 — JOBhakdi · 2026-10-15
- ASML 高管:「我们在欧洲一台光刻机都卖不出去」 — NinaDSchick · 2026-10-15
- Nvidia 将 SPCX 归入「超大规模」类，云厂商依赖度暗藏变数 — RihardJarc · 2026-10-15