单张 RTX 5090 跑 Qwen3.8-Flash-Next 达 68.3 tok/s,FreeToken 本地推理方案亮相
matei_zaharia · x · 2026-09-05
UC Berkeley Sky Lab 的 Shuo 展示了 FreeToken 本地推理方案：Qwen3.8-Flash-Next 在单张 RTX 5090 上达到 68.3 tok/s，无需极端量化或投机解码。
- 使用 RadixArk 经 GB300 验证的 NVFP4 生产级 checkpoint
- 仅需 63GB 主机内存，比该模型 1-bit 量化所需还少
- 51GB 的 n-gram 表放在 NVMe 上，吞吐损失仅约 0.5%
视频中演示用一个 prompt 生成可玩的 Minecraft 风格世界，并在 5090 桌面上用 FreeToken 在 10.5 分钟内修复一个真实 bug。Matei Zaharia 转发，称更强开源模型加新推理系统意味着强大的本地 AI 时代即将到来。
「Infra」频道最新
- 欧洲博士生可随需使用 B200,美国同行要靠数据创业公司养项目 — HildeKuehne · 2026-10-23
- 英伟达柏林 GTC:人形机器人与 Vera Rubin 超算成主角 — emmanuelvivier · 2026-10-23
- 联想 AI Library 新增 5 个用例，宣称一周部署、成本降 70% — shashib · 2026-10-23
- kernel 全面跑赢 cuBLAS 不重要,快速迭代调优才是关键 — blelbach · 2026-10-23
- llama.cpp 团队发布 Llama：Mac 菜单栏一键本地跑 AI 模型 — Hugging Face · 2026-10-23
- 中国日均 Token 消耗达 500 万亿,均价一年从 6.8 元涨至 13.46 元 — teortaxesTex · 2026-10-23