单卡 RX 7900 XTX 跑出 524k 上下文,自研推理引擎速度达 llama.cpp 5 倍

W61k3r · reddit · 2026-11-22

开发者 W61k3r 用自研 Rust 推理引擎 LexiSuite 在单张 24GB RX 7900 XTX 上跑通 Inkling-2-Mini,并给出完整对比数据。

关键结果(同一显卡、同一模型文件,对比 llama.cpp b12600):

准确性验证:在 26 万和 52 万 token 深度埋入 10 个事实,10/10 全部召回;对 CPU 参考实现的 KL 散度 0.0038,与 llama.cpp 打平,误差来自 4-bit KV 缓存而非 bug。

Draft head 实测:短/中上下文提速明显(16k 后约 79 vs 43 tok/s),但 50 万 token 深度时反而略慢,作者如实保留该数据。24GB 显存下 1M 上下文放不下(KV 缓存需 9.85GB),524k 是当前上限。

所属事件:开发者自研引擎单卡跑通 524k 上下文,速度远超 llama.cpp(3 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →