伯克利MIT开源推理引擎:RTX 5090单卡可跑284B模型
gnukeith · x · 2026-08-22
UC Berkeley 与 MIT 研究人员开源了一款新的推理引擎，性能表现惊人。在 RTX 5090 系统上，该引擎以 25 tok/s 的速度运行 DeepSeek-V4-Flash 284B 模型，比 llama.cpp 快 1.46 倍，而 Ollama 甚至无法运行该模型。在 Qwen3.6-35B 基准测试中，其速度比 Ollama 快达 3 倍。
所属事件:伯克利MIT开源FreeToken 消费级显卡跑超大模型(3 条相关)→
「Infra」频道最新
- 数据中心耗水争议：10GW 规模年用水 1200 亿加仑 — SumitGup · 2026-08-22
- OpenBot 开源：为每个 AI 提供独立容器与策略网关 — aigclink · 2026-08-22
- MiniMax-H3 量化发布：为何保留 FC2 层为 BF16 — marres · 2026-08-22
- 核能热岩发电量巨大，对比需维护的被动太阳能 — tawnniee · 2026-08-22
- 2-4K 显卡可日供 100T Token，算力效率引热议 — teortaxesTex · 2026-08-22
- 苹果或推 1TB+ 统一内存芯片，影响分布式训练 — benfielding · 2026-08-22