单卡 RTX 5080 跑出 250 tok/s:Basalt 引擎实测比 llama.cpp 快 5 倍
yehyakar · reddit · 2026-11-06
一位 Reddit 用户发布详细教程,在单张 RTX 5080 (16GB) + 64GB RAM 的机器上跑 Qwen3.8 Flash-Next,真实 agent 编码会话中达到平均 195.6 tok/s 解码、约 5700 tok/s prefill。
关键组合:
- Basalt 引擎:同一模型文件下,解码速度约为 llama.cpp 的 3.5 倍,加 drafting 约 5 倍,prompt 读取快约 7 倍。
- Unsloth 新 UD-IQ3XXS 量化:与常见 IQ3S 同体积,wikitext 困惑度 3.382→3.247,接近 BF16 的 3.273,仅损失 1-3.5% 速度。
- Lamina drafter(进一步训练的 MTP drafter):草稿接受率 83.1%→85.8%,零质量损失。
作者还向上游提交了多个 Basalt 优化 PR:KV cache 溢出到 RAM 的首次停顿从 0.6-2.4 秒降到约 75ms,碎片化机器上的大页压缩卡顿从 1.5-3.7 秒降到约 23ms 等。
提供了完整 setup 脚本(GitHub 分支),自动检查机器、下载约 90GB 并校验 SHA-256、构建模型文件与配置。需要 CUDA 13、64GB RAM、约 180GB 磁盘。
「编程与Agent」频道最新
- Gemini 4 Hydrogen 56 秒建完 3D 沙漠牧场，3.8 Flash 要 6 分钟 — minchoi · 2026-11-13
- Carbon 编排 Hydrogen 集群，45 分钟造出会自录 demo 的绯红飞蛾 — minchoi · 2026-11-13
- 30 分钟搭出可开门开冰箱的 3D 交互餐厅，Hydrogen 又秀新案例 — minchoi · 2026-11-13
- AI 响应慢别怪模型:流式输出+进度展示是留住用户的关键 — XxFreakhawkxX · 2026-11-13
- 用 LLM 事后核查 HN 评论预测准确率，创业者称数据库全开放即可做 — Darpinian · 2026-11-13
- ArtCraft 用 AI 复刻 Photoshop：日下载 170 万，开源社区 4000 人 — Latent Space · 2026-11-13