单张 RX 7900 XTX 跑 524k 上下文:自研引擎比 llama.cpp 快 3 倍
W61k3r · reddit · 2026-11-22
开发者在自研 Rust 推理引擎 LexiSuite 中将 Inkling-2-Mini(17.6 GB,专家层保留 Thinking Machines 原 4-bit 格式)完整放进一张 24 GB 的 RX 7900 XTX,实现 524,288 token 上下文,显存占用 23.7/25.75 GB,加载仅 13 秒。
关键数据(对比 llama.cpp b12600,同一张卡同一模型文件):
- 4k prompt:2,245 tok/s 预填充、81.7 tok/s 生成(带模型自带 draft head),llama.cpp 仅 425/25.4
- 16k prompt:2,148 tok/s / 80.4 tok/s
- 262k prompt:1,146 tok/s(3 分 48 秒)、40.2 tok/s 生成;llama.cpp 55 分钟跑不完预填充
- 524k prompt:767 tok/s、33.7 tok/s
大海捞针验证:在 260k 和 523k 上下文中各埋 10 个事实,均 10/10 全部答对。
Draft head 细节:短中深度时收益大(约 6 token/pass),但在 52 万 token 深度时反而更慢(32.1 vs 33.7),因为 draft head 自身的注意力开销超过了节省。精度:与 CPU 参考实现相比 KL 散度约 0.004,与 llama.cpp 相当,误差主要来自 4-bit KV cache。
相比上一版,262k 场景预填充提升 45%、生成提升 21%,主要来自全局注意力层的新 kernel。1M 上下文在此卡放不下(仅 KV cache 就要 9.85 GB)。
所属事件:自研 Rust 引擎单卡跑 524k 上下文,速度远超 llama.cpp(2 条相关)→
「Infra」频道最新
- Inkling 2 Mini 在 RTX 5090 上用 vLLM 跑出 200 tok/s — VoidAsuka · 2026-11-22
- Reddit 网友乐观预言:廉价 GPU 回归只是时间问题 — ridhwanss · 2026-11-22
- AI 设计师断言本地 LLM 被高估:M3 Max 128GB 也追不上云端 — AIandDesign · 2026-11-22
- 一个 AI 泡沫寓言:发债、私募信贷、保险年金后的崩塌剧本 — Svwang1 · 2026-11-22
- 图解 GPU 线程调度:从 kernel 启动到硬件执行的完整链路 — blaizedsouza · 2026-11-22
- 平头哥估值或超800亿美元,与昆仑芯同赴资本市场对决 — 创业邦 · 2026-11-22