MegaCapybara：RTX 5090 专用推理引擎，速度达 Ninfer 两倍
BringTea_666 · reddit · 2026-10-03
Reddit 用户发布专为 RTX 5090 与 Qwen3 27B 打造的推理引擎 MegaCapybara，单路编码解码速度 500+ t/s（瞬时可达 650 t/s），12 个 agent 并发时总吞吐 2000+ t/s，支持 800k 甚至 100 万上下文，速度约为此前 SOTA 引擎 Ninfer 的两倍。要点：
- 动态内核调度：按模型、单/多任务、长/短上下文动态切换自定义内核，避免长上下文掉速；结合 Dflash2 投机解码与 DSpark 置信度调度、draft trees。
- 带基准数据的权重格式：发布的权重附带元数据，加载前在启动器中直接显示每个量化/上下文设置相对 BF16 原始权重的 KL 散度与 top-1% 损失，可与 unsloth 量化版对比，提供有损到近乎无损的可选配置。
- Agent 并发服务：调度算法优先服务多任务保持引擎满载，支持一次扇出数十个 agent。
- 缓存管理：任务只在开始时 prefill，统一上下文耗尽时任务秒级（0.03s）换入 RAM 暂存，恢复无需重新 prefill。
- Loop Guard：检测到 agent 循环时动态调整 repetition penalty，超限则发停止信号交由前端恢复。
附带图形化启动器（悬停可看参数说明）、自动下载权重、可导出 bat 命令行配置。源码稍后放出，权重已在 Hugging Face 上线。
「编程与Agent」频道最新
- AI 正把编程从写作技能变成阅读技能 — _jaydeepkarale · 2026-10-03
- 开源 OpenWiki 让 AI 智能体为代码库自动生成可溯源维基 — abhishek__AI · 2026-10-03
- 博主自嘲旧言论翻车:Cursor 用户试过 Claude Code 就不回头 — gabriberton · 2026-10-03
- Obol 网关实现参数级 MCP 权限:「退款上限 100 美元」而非整工具放行 — ToBeContinuedHermit · 2026-10-03
- Anthropic 免费开放多智能体协作工作坊，教你搭全自动工作流 — s_mohinii · 2026-10-03
- Jevbox 开源：无向量数据库的层级式自组织文档库 — rickasaurus · 2026-10-03