Rust 推理引擎 LexiEngine 跑 AMD 卡:27B 全 262k 上下文比 llama.cpp 快 47%
W61k3r · reddit · 2026-11-20
开发者发布了自己用 Rust 写的推理引擎 LexiEngine(属自托管套件,含 LexiPanel 管理面板与 LexiOS 启动盘),主打长上下文稳定性与 AMD 显卡优化,并给出与 llama.cpp b12531、Strata 0.2.16 的对照实测(7900 XTX,2026 年 11 月 18-19 日):
- 长上下文:Qwen3.8 27B Q4KM 在满 262k 上下文下 39.6 tok/s vs 26.9(快约 47%),253k 提示的首 token 558s vs 1545s,快近 3 倍;短提示约快 15%。Gemma 4 31B 在 201k 上下文 llama.cpp 一小时跑不完,LexiEngine 能以 21.1 tok/s 生成。
- 超显存 MoE:94 GB 的 Qwen3.8 Flash-Next 在单张 24 GB 卡上采用「热门专家驻留显存 + 内存/硬盘分层」策略,64k 提示 7.7 tok/s vs Strata 4.3,甚至能跑超出官方窗口的 500k 上下文。
- AMD 优先:默认设置下多款模型全面领先;作者坦承在 RTX 2060(CUDA)上 llama.cpp 反超,部分场景(无 draft 的 Nemotron E4B)也落后 3-6%,31B 大上下文有显存不足拒绝请求的已知问题。
定位是 AMD 生态的本地推理替代方案,作者公开了完整测量方法。
「编程与Agent」频道最新
- ENTIA 推出企业核验 MCP:整合 BORME/VIES/GLEIF,覆盖 34 国 5200 万条记录 — modelcontextprotocol · 2026-11-20
- Niteshift 两家客户接连被收购:20 亿美元与 45 亿美元并购引热议 — mattturck · 2026-11-20
- 给 agent 多大邮件权限?开发者设计五级权限分层防误发与注入 — 3-Chengz · 2026-11-20
- Stripe 首发编码 Agent 集成评测榜,GPT-6-Astra 暂居榜首 — jeff_weinstein · 2026-11-20
- Gradium 推出 MCP Beta:编码 Agent 可在同一会话里给脚本配音 — mattturck · 2026-11-20
- 为女友开发 Claude Study:圈选笔记即可提问,AI 墨迹标注页面 — Embarrassed-Tooth132 · 2026-11-20