单张 RX 7900 XTX 跑 524k 上下文:自研引擎比 llama.cpp 快 3 倍

W61k3r · reddit · 2026-11-22

开发者在自研 Rust 推理引擎 LexiSuite 中将 Inkling-2-Mini(17.6 GB,专家层保留 Thinking Machines 原 4-bit 格式)完整放进一张 24 GB 的 RX 7900 XTX,实现 524,288 token 上下文,显存占用 23.7/25.75 GB,加载仅 13 秒。

关键数据(对比 llama.cpp b12600,同一张卡同一模型文件):

大海捞针验证:在 260k 和 523k 上下文中各埋 10 个事实,均 10/10 全部答对。

Draft head 细节:短中深度时收益大(约 6 token/pass),但在 52 万 token 深度时反而更慢(32.1 vs 33.7),因为 draft head 自身的注意力开销超过了节省。精度:与 CPU 参考实现相比 KL 散度约 0.004,与 llama.cpp 相当,误差主要来自 4-bit KV cache。

相比上一版,262k 场景预填充提升 45%、生成提升 21%,主要来自全局注意力层的新 kernel。1M 上下文在此卡放不下(仅 KV cache 就要 9.85 GB)。

所属事件:自研 Rust 引擎单卡跑 524k 上下文,速度远超 llama.cpp(2 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →