开源推理引擎 FreeToken:RTX 5090 本地跑 DeepSeek 284B 达 25 tok/s
aigclink · x · 2026-11-15
伯克利、MIT 等推出开源推理引擎 FreeToken,让消费级 PC 也能运行数千亿参数 MoE 模型,RTX 5090 实测 DeepSeek 284B 达 22–25 tok/s,解码吞吐量比现有本地推理引擎快 1.3–2.1 倍。
- 痛点:290B 模型即使 4-bit 量化权重也需约 145GB,普通显卡装不下;权重放内存又受内存带宽和 PCIe 限制
- 核心思路:把 GPU、CPU、系统内存和 PCIe 带宽作为整体,针对 MoE 稀疏激活优化计算分配、数据传输与缓存
- 四项关键技术:
- 带宽自适应 CPU-GPU 协同推理,按带宽动态决定专家在哪算,Prefill 阶段全层双缓冲预取
- 面向 Agent 的语义感知缓存:在语义边界保存可复用计算状态,上下文局部变化只重算受影响部分;解码阶段用全局 LRU 专家缓存
- 弹性显存管理:专家缓存与 KV Cache 之间动态调整,无需重启
- 提供 OpenAI/Anthropic 兼容 API,可接入 Claude Code、Codex 等 Coding Agent
- 实测:RTX 4060 Laptop 跑 Qwen 35B 达 39.3 tok/s;RTX 5090 跑 DeepSeek 284B 达 22–25 tok/s;RTX PRO 6000 跑 GLM 753B 达 14.9 tok/s;Agent 工作负载最差首 Token 延迟 <44 秒(对照引擎部分场景超 150 秒)
本地部署超大模型的另一条路线:不是只靠量化和卸载,而是让 CPU、GPU、内存、PCIe 协同把有限硬件用满,对本地 AI Agent 基础设施很有参考价值。
所属事件:开源引擎 FreeToken 让消费级显卡跑数千亿参数模型(2 条相关)→
「编程与Agent」频道最新
- 一人律所跑一支 AI 代理团队:律师用 Claude 按部门架构自动化全部职能 — prasanna_says · 2026-11-15
- Claude 纯代码在 three.js 里造出彩色小城，不用任何素材 — Eric520CC · 2026-11-15
- fate 2.2.1 性能大提速：删除关联记录快 343 倍 — cnakazawa · 2026-11-15
- 中科院等发布LLM Agent递归自我改进综述:三问题七步看Agent自进化 — 机器之心 · 2026-11-15
- METR 开源 AI Agent 评测平台,直面前沿模型红队测试难题 — BethMayBarnes · 2026-11-15
- 开源 schu-video-generator:不用视频模型,Claude Code 代码渲染完整 MV — CoolTopicsNow · 2026-11-15