MegaCapybara:RTX 5090 专用推理引擎,速度达 Ninfer 两倍
BringTea_666 · reddit · 2026-10-03
Reddit 用户发布专为 RTX 5090 与 Qwen3 27B 打造的推理引擎 MegaCapybara,单路编码解码速度 500+ t/s(瞬时可达 650 t/s),12 个 agent 并发时总吞吐 2000+ t/s,支持 800k 甚至 100 万上下文,速度约为此前 SOTA 引擎 Ninfer 的两倍。要点:
- 动态内核调度:按模型、单/多任务、长/短上下文动态切换自定义内核,避免长上下文掉速;结合 Dflash2 投机解码与 DSpark 置信度调度、draft trees。
- 带基准数据的权重格式:发布的权重附带元数据,加载前在启动器中直接显示每个量化/上下文设置相对 BF16 原始权重的 KL 散度与 top-1% 损失,可与 unsloth 量化版对比,提供有损到近乎无损的可选配置。
- Agent 并发服务:调度算法优先服务多任务保持引擎满载,支持一次扇出数十个 agent。
- 缓存管理:任务只在开始时 prefill,统一上下文耗尽时任务秒级(0.03s)换入 RAM 暂存,恢复无需重新 prefill。
- Loop Guard:检测到 agent 循环时动态调整 repetition penalty,超限则发停止信号交由前端恢复。
附带图形化启动器(悬停可看参数说明)、自动下载权重、可导出 bat 命令行配置。源码稍后放出,权重已在 Hugging Face 上线。
「编程与Agent」频道最新
- ANT 上市前夜数据:Claude Code 一年反超 Cursor 和 Copilot — antgoldbloom · 2026-11-19
- 开发者向 GKE 沙箱项目提 PR:定期 checkpoint 防 agent 进度丢失 — yoimnotkesku · 2026-11-19
- AWS AgentCore Identity 支持私有 CA,Agent 可直连内网自建 IdP — AWS ML Blog · 2026-11-19
- Orchestrator Cloud Agents 结束测试正式上线 — julianweisser · 2026-11-19
- 开发者开源企业级 Agent 审计追踪模型:10 个数据模型找安全工程师挑刺 — TheHamzaShahbaz · 2026-11-19
- She 用 Claude Code 自制大头贴机:举手倒计时自动出照片条 — toolstelegraph · 2026-11-19