Inkling 2 Mini 单卡 4060 跑赢 Qwen 27B,速度快 3.5 倍
LiTianleli · x · 2026-11-22
用户 analogalok 在单张 RTX 4060(8GB 显存)+ 16GB DDR4 内存的机器上本地运行 Inkling 2 Mini,称其在 DeepSWE 1.1 上超过 Qwen 4 27B。
- 模型:Unsloth Inkling-2-Mini-UD-Q3KXL.gguf,中等推理预算,24k 上下文 + Q8 KV cache
- 测试:一次性提示词要求用 Three.js 在单个 HTML 文件里生成细节丰富的写实汽车,可用 CDN
- 结果:在该配置下比 Qwen 3.8 27B Dense(Q4KXS)快约 3.5 倍,且未提高推理预算时初版输出质量已不错
作者表示完整基准、llama.cpp 参数与对比将随后发布。
「Infra」频道最新
- WSJ 爆料:黄仁勋伴侣旗下合伙人涉嫌向中国走私英伟达芯片 — GaryMarcus · 2026-11-22
- Hierarchos-Native v0.2.5 发布:P3 改进 RDNA3 FP16 GEMM,单项提速 27% — PhysicsDisastrous462 · 2026-11-22
- prime-rl 0.11.0 发布:训练提速最高 1.5 倍,新增预训练入口 — samsja19 · 2026-11-22
- 每 GPU 日产 646 亿 token:一组数字推演 AI 算力过剩假说 — bookwormengr · 2026-11-22
- 长江存储闪存品牌致态高调亮相韩国游戏展 G-Star — terryyuezhuo · 2026-11-22
- DGX Spark 实测:SGLang 仅用 65GB 跑 Inkling 2 Mini,快 vLLM 一倍 — AIFlow_ML · 2026-11-22