开源推理引擎 Ignis 0.10 支持 RTX 30/40 卡,单卡跑 27B 喂编码 Agent
gpillon · reddit · 2026-11-16
开发者 gpillon 发布本地推理服务器 Ignis 0.10.0,首次把支持范围从 Blackwell(RTX 50)扩展到 RTX 3090 与 RTX 40 系列,目标是在你写代码的那台机器上、与桌面共享一张显卡地运行 Qwen3.8-27B 给编码 Agent 用,而不是堆峰值 tok/s。
- 工程取舍:启动时按空闲显存自动定上下文大小、装不下直接报错;闲置 5 分钟自动卸载模型;视觉塔驻留系统 RAM,不发图不占上下文;主 Agent 与子 Agent 共卡并行;重复 prompt 从缓存续跑而非重新 prefill;OpenAI 兼容(chat completions 与 Responses),单二进制附浏览器 Playground 和监控。
- 量化与配置:30/40 卡用 3-bit trellis 量化(13.4 GB 下载)加 DFlash2 投机解码;24 GB 卡 8 并发、上下文最高 1,048,576 tokens,16 GB 卡 2 并发、262,144 tokens。
- 性能参考:5090 NVFP4 构建单流约 370 tok/s,8 并发合计超 1,000 tok/s,46K prompt 的 prefill 约 11,000 tok/s;陌生人自发在 5090 上用 opencode 跑 airbench,49/49 项测试全过(26 分钟)。
- 诚实的限制:作者自己没有 30/40 系卡,新版是在 Ada(sm89)上通过发布门禁,Ampere(sm86)早期构建结果逐位一致,BF16 KL 散度与 top-1 一致率(93.3%)达标,但实际速度和 1M 上下文能否装下尚待用户验证,正在征集测试者。
「编程与Agent」频道最新
- OpenFill 分支新增 AI 选取与 MiniMax H3 编辑抠图 — shukanimator · 2026-11-16
- 投资人预言:个人 AI Agent 将重演 ChatGPT 时刻,重塑各行业岗位 — thisiskp_ · 2026-11-16
- 非程序员用 Claude Code 做出 24 车吃鸡手游 Vektor — AstraNoms · 2026-11-16
- 一条提示词让 Claude 生成会互动的翻翻书绘本 — Correct-Ad4910 · 2026-11-16
- 前游戏创业者用 AI 做副业游戏:新竞技场与两个新角色亮相 — trq212 · 2026-11-16
- Hologram 让 Codex/Claude Code 用你自己的手机号打电话发短信 — Melodic_Builder_8170 · 2026-11-16