自研 Rust 引擎单卡跑 524k 上下文,速度是 llama.cpp 的五倍
W61k3r · reddit · 2026-11-22
作者用自研 Rust/Vulkan 推理引擎 LexiEngine 在单张 RX 7900 XTX(24GB)上运行 Inkling-2-Mini,实现 524,288 token 上下文:4k 提示下 prompt 2,245 tok/s、生成 52.4 tok/s,对比 llama.cpp(425/25.4)快约 5 倍;llama.cpp 在 262k 提示下 55 分钟未能完成,LexiEngine 仅需 3 分 48 秒。
关键细节
- 模型文件 17.6GB,专家权重保持 Thinking Machines 原生 4-bit 格式,其余 8-bit;全模型驻留显存,4-bit KV cache
- 524k 时显存占用 23.7/25.75GB,加载 13 秒;1M 上下文因 KV cache 需 9.85GB 装不下
- 针刺检索测试:262k 与 524k 深度均为 10/10 全对
- 草稿头(draft head)在中短上下文大幅提速(16k 时 79 vs 43 tok/s),但 524k 深度反而更慢,作者如实保留该数据
- 精度对比 CPU 参考实现:KL 散度 0.0038 vs llama.cpp 0.0037,基本持平;4-bit cache 是误差来源而非 bug
「编程与Agent」频道最新
- Yacine:从有多信任 Claude 就能看出程序员水平高低 — yacineMTB · 2026-11-22
- 转发讨论:Opus 在大型代码库需大量监督,倾向让代码膨胀 — yacineMTB · 2026-11-22
- 开发者用三个 AI 模型分别规划机器人项目,再取各家所长合并 — doodlestein · 2026-11-22
- Claude Code「Code Mode」详解:写 JS 编排多步工具调用,提速又省上下文 — AIFlow_ML · 2026-11-22
- Claude Code 新增 Code Mode:可写 JS 脚本并行执行多个工具调用 — AIFlow_ML · 2026-11-22
- Anthropic 发布常驻智能体工程指南:五个原语搭起 always-on 架构 — 大模型之路 · 2026-11-22