单卡 RTX 3090 跑出 129.5 tok/s 与 344K 上下文,自研推理引擎对比 llama.cpp 提速 2.3 倍
teortaxesTex · x · 2026-11-21
开发者 superalesha 发布开源引擎 maya-ik2(基于 Project Maya),在单张 RTX 3090 上将 Inkling 2 Mini 推理速度提升到 129.5 tok/s、支持 344K 上下文,解码比 llama.cpp 快 2.3 倍、prefill 快 3.7 倍且零质量损失。
「Infra」频道最新
- 为跑 24/7 智能体系统,研究者自制本地 GPU 服务器替代 Mac mini — nodosenlared · 2026-11-21
- 实测反转:llama.cpp 里 KV cache 量化到 q8_0 反而更费显存 — Fancy-Snow7 · 2026-11-21
- Cohere 推机密计算:数据全程加密进 GPU,直指别家 ZDR 多是营销话术 — Nils_Reimers · 2026-11-21
- Gary Marcus 转发图表:甲骨文 CDS 信用违约互换飙升至历史新高 — GaryMarcus · 2026-11-21
- 去中心化 GPU 跑敏感 AI 负载,TEE 与远程证明能兜底吗 — MrSwannn · 2026-11-21
- AI 网关正成生产级 AI 栈的关键控制层:八大核心能力清单 — goyalshaliniuk · 2026-11-21