KRAFTON Raon-1 Nano 3.1B 获 ik_llama.cpp 原生支持,MTP 投机解码提速 17%
Any_Bus9205 · reddit · 2026-11-12
KRAFTON 发布 Raon-1-nano(3.1B 稠密混合架构:18 层 RDA 线性注意力 + 6 层 NoPE 门控 MLA + 1 个 MTP 块、4 流 mHC、逐层嵌入),并放出官方 GGUF 权重,上游 llama.cpp 支持尚待合并。
作者向 ikllama.cpp 提交 PR #2903,实现完整原生运行时与 HF→GGUF 转换器:
- 完整实现 RDA、NoPE MLA、mHC、PLE 与 SwiGLU FFN(强制 F32 累加器避免 CUDA 上 FP16 溢出),并修正输出门为 sigmoid,修复默认 SiLU 导致的乱码输出
- 原生 MTP 投机解码:--spec-type mtp:nmax=1,pmin=0.0 即可启用
在纯 CPU(i5-13420H,AVX2+VNNI)上用官方 Q4KM(2.32 GiB)验证:困惑度 1.0976 与官方 fork 基本持平;4 线程下 pp256 229 t/s、tg32 23.5 t/s;启用 MTP 后生成 25.6 t/s,较基线提升 17%,63 个草稿接受 55 个。
「Infra」频道最新
- AI 模型将迎平台期？开发者预测：突破口在推理优化而非能力飞跃 — bendee983 · 2026-11-12
- Cost-Aware GRPO：按信息量与成本加权采样，降低 RL 训练算力开销 — burkov · 2026-11-12
- 曝与 Alice Huang 关联公司投资 DeepSeek 助其获取禁售 Blackwell 芯片 — ShakeelHashim · 2026-11-12
- 全球首次：递归自我改进进入前沿预训练，开源 30B 模型超 Qwen3 — dair_ai · 2026-11-12
- 曝黄仁勋离开 NVIDIA，业界担忧 AI 生态失去灵魂人物 — beffjezos · 2026-11-12
- Epoch:全球新增 AI 算力每 9.1 个月翻倍,季度增量破 630 万 H100 — dl_weekly · 2026-11-12