Project Maya 新版让 Inkling 2 Mini 跑进 8GB 显卡,4090 实测 144 tok/s
teortaxesTex · x · 2026-11-22
Project Maya 发布 v1.1.73 版本,大幅扩展 Inkling 2 Mini 的硬件兼容性:
- NVIDIA 8GB 起即可运行:常用专家驻留显存、其余放内存,GPU/CPU 按实测性能分配缺失专家,8GB 显卡约需 13GB 内存,答案与全 GPU 运行一致
- 老卡支持:V100、RTX 20 系列获得专属快速内核;AMD 方面 Linux 下支持 24GB Radeon 与 Strix / Gorgon Halo(已在 Radeon 8065S 上测试)
- Drafting 自动启用(--drafting auto),由官方 drafter 结合上文提议 token,答案不变且自动选择更快方案
- 修复 --vram-reserve-mib 被忽略、Hy4-Flash 在双 GPU PC 上的兼容问题
用户 teortaxesTex 实测在 4090 上轻松跑到 144 tok/s,认为单卡机器终于有了好模型;但他仍期待 DeepSeek 出真正的 Nano 模型——现在 32K 上下文缓存要 1.2GB,他想要的是像大模型那样诚实的 1M 上下文。
「Infra」频道最新
- 日本超算富岳遭入侵:430 把 SSH 私钥被盗,233 把无密码保护 — kingslyj · 2026-11-22
- 免费工具 OMEN:按预算测 714 种配置帮你选跑 AI 的 GPU — Srijith_Legend · 2026-11-22
- Cerebras 联合 AMD 推出分离式推理,每兆瓦产出提升 5 倍 — AccBalanced · 2026-11-22
- 开发者解读:GTA VI 是 GPU 驱动软件渲染的终极胜利 — charles_irl · 2026-11-22
- Nvidia 循环融资链条曝光:出钱买卡再担保债务,寿险公司兜底 — MatthewChang · 2026-11-22
- 前 Google TPU 工程师:砍前沿研究终将牺牲硬件业务 — jasondeanlee · 2026-11-22