单卡 RX 7900 XTX 跑出 524k 上下文,自研推理引擎速度达 llama.cpp 5 倍
W61k3r · reddit · 2026-11-22
开发者 W61k3r 用自研 Rust 推理引擎 LexiSuite 在单张 24GB RX 7900 XTX 上跑通 Inkling-2-Mini,并给出完整对比数据。
关键结果(同一显卡、同一模型文件,对比 llama.cpp b12600):
- 4k prompt:LexiEngine 2,245 tok/s 预填充 / 52.4 tok/s 生成,llama.cpp 仅 425 / 25.4
- 262k 上下文:LexiEngine 1,146 tok/s 预填充,llama.cpp 55 分钟未能完成
- 524k 上下文:767 tok/s 预填充、33.7 tok/s 生成,权重 17.6GB + 4-bit KV 缓存 5GB,总显存占用 23.7/25.75GB,加载仅 13 秒
准确性验证:在 26 万和 52 万 token 深度埋入 10 个事实,10/10 全部召回;对 CPU 参考实现的 KL 散度 0.0038,与 llama.cpp 打平,误差来自 4-bit KV 缓存而非 bug。
Draft head 实测:短/中上下文提速明显(16k 后约 79 vs 43 tok/s),但 50 万 token 深度时反而略慢,作者如实保留该数据。24GB 显存下 1M 上下文放不下(KV 缓存需 9.85GB),524k 是当前上限。
所属事件:开发者自研引擎单卡跑通 524k 上下文,速度远超 llama.cpp(3 条相关)→
「Infra」频道最新
- 开发者把 Inkling 2 Mini 移植到 vLLM,双 3090 解码速度飙至约 200 tok/s — peaster_ · 2026-11-22
- 数据显示今年做空 AI 概念 IPO 三日平均可赚约 37% — vaibhavbetter · 2026-11-22
- 全网已有多家推理 API 提供商,99% 是套壳 vLLM 打价格战 — vaibhavbetter · 2026-11-22
- 高通季度汽车芯片营收近20亿美元,SemiAnalysis预测2027年登顶 — BenBajarin · 2026-11-22
- Gavin Baker:2万亿美元AI资本开支仅换来约1200亿美元收入 — josh_bickett · 2026-11-22
- 云架构师解释:为何 $200 订阅能用掉价值 $10 万的 tokens — RexDouglass · 2026-11-22