25B 的 Inkling-2-mini 单卡 3090 本地跑,号称胜过更大 MoE 模型
LiTianleli · x · 2026-11-22
用户实测 thinkymachines 的 Inkling-2-mini:约 25B 的模型,用 Unsloth UD-Q4KXL 量化在单张 RTX 3090 上本地运行。让它一次性(one-shot、无 harness、无工具调用)生成「雪天漂浮岛屿与草地树木」的场景,仅消耗约 23600 tokens(思考 2891 + 回答 20709)即得到高质量结果。作者将其与 API 上的 Hy4-Flash 对比,认为输出质量明显更好,称这对本地 AI 是好消息,但仍需更多测试验证。
「模型」频道最新
- Anthropic 开源 FlashProve:为 400B 参数 MoE 推理生成零知识证明 — jiqizhixin · 2026-11-22
- 研究者质疑 LLM 公司护城河:使用数据飞轮论被证伪 — adam_karvonen · 2026-11-22
- GPT-6.2 登顶游戏开发 Arena,Astra 单次生成约 6.8 分钟花费 $0.98 — gdb · 2026-11-22
- 量化交易机构重金押注推理模型:数学能力正在直接「印钱」 — scaling01 · 2026-11-22
- AGI Pilled Bench更新:各家模型预测黎曼假设何时被AI解决 — zsakib_ · 2026-11-22
- 新开源模型 Hy4-Flash 亮相:224B 总参 12B 激活,本地一次性出片 — LiTianleli · 2026-11-22