RX 7900 XT 跑起 Unsloth Dynamic v3.1:53 tok/s、192K 上下文
zxspectrun · reddit · 2026-11-17
作者在 RDNA3 fork(Strata)上让 Unsloth Dynamic v3.1 UD-IQ1M 在 RX 7900 XT 上跑了起来:中位解码速度 53 tok/s,192K 上下文,还剩 712 MiB 显存。
要点:
- 模型注册工作量约 40 行 Python 和 JSON(setup.py、模型条目、shard 指纹、web UI 条目、显存布局配置),无需改 C++ 或重建内核——fork 已内置该量化所需的 HIP 内核。
- 速度的关键在调参而非模型:68GB 模型需约 48GB RAM 常驻专家,39GB 内存下靠 RAM 分层 + VRAM 专家缓存拆分;给出了完整参数组合(--expert-cache auto、int8 KV、pinned RAM 预算、--ple-io direct、prefill 16384、MTP 投机解码等)。
- 还把 RDNA-FAST 的 SSD 会话缓存移植过来:一个 85 行模块加 7 个钩子,按 prompt 摘要存取会话快照,恢复后只读取增量 token。
「Infra」频道最新
- Alchemy 实现客户端读己之写:命令回执自动随读请求发送 — samgoodwin89 · 2026-11-17
- Pipeshift 服 Gemma 4 31B 首 token 快 40%,日吞吐 1500 亿 tokens — NirantK · 2026-11-17
- LoopFill 无训练投机解码加速 Looped Transformer 推理 — UIUC-CS · 2026-11-17
- 腾讯 DSpine 推测解码上线:27B 模型提速至 4.5 倍、90-125 tok/s — pmttyji · 2026-11-17
- 直言算力不缺:千卡 GPU 全靠短期合同入手,六成是 B300 — SumitGup · 2026-11-17
- 开源项目 Agent Substrate 让空闲 Agent 挂起唤醒,同硬件跑 10 倍 Agent — Saboo_Shubham_ · 2026-11-17