Rust 全栈推理引擎 LexiSuite 实测:262k 长上下文快 17-25%
W61k3r · reddit · 2026-11-14
开发者发布 LexiSuite:一个用 Rust 从零写的推理引擎+控制面板+ appliance OS + 内核(共 193 万行),非 llama.cpp 包装。作者在单卡 24GB RX 7900 XTX 上与当天发布的 llama.cpp 1.0.0 对比实测:
- Qwen 27B(Q4KM,262k 上下文):生成速度在短 prompt 到 33k token 范围快 17-25%,prefill 快 26-37%
- 短 prompt 首 token 延迟 0.19s vs 0.34s
- 关键差异:13.3 万和 26.2 万 token 长上下文下 llama.cpp 直接 device lost 或无输出,LexiEngine 仍能以 50.4/39.9 tok/s 生成
作者自述日常用它作为个人 AI box,并同时公开了输给 llama.cpp 的场景。
「Infra」频道最新
- Local Code 让 32GB Mac 跑 DeepSeek 4.1 Flash,靠 SSD 流式加载 — alexcovo_eth · 2026-11-14
- SGLang 峰会分享：NVFP4 4-bit 低精度 RL 千卡实战经验开源 — ericzelikman · 2026-11-14
- 本地模型能否追上前沿？社区争论：瓶颈或将卡在硬件而非算法 — AshAtlasDev · 2026-11-14
- Anthropic IPO 路演页泄露，网友推测 V4.1F 用 Blackwell 训练被拉黑 — teortaxesTex · 2026-11-14
- 《纽约客》访谈称 AI 是暴力穷举问题，将「烧毁地球」 — kevinnbass · 2026-11-14
- 联想官宣混合词元工厂：15000P 集群年产 2000 万亿 Token，绿电进词元出 — 量子位 · 2026-11-14