KRAFTON 开源 3.1B 混合注意力模型 Raon-1 nano,支持 26 万 token 上下文
pmttyji · reddit · 2026-11-12
韩国 KRAFTON AI 发布 Apache 2.0 开源模型 Raon-1 nano：有效参数 1.5B（总 3.1B，含 1.5B 逐层嵌入表），主打韩英双语对话、指令/上下文跟随与工具调用，面向端侧部署。
要点：
- 架构：24 层混合布局——18 层 Raon Delta Attention（门控 delta 规则线性注意力，固定大小循环状态）+ 6 层 Gated MLA，KV cache 仅约 7 KiB/token；
- Raon-mHC 降低 DeepSeek 式流形约束超连接的计算成本；每层带 256 维逐层嵌入；NoPE 无位置编码；上下文 262,144 token；附 55M MTP 模块；
- 训练：由 30B-A4B 的 Raon-1 mini preview 经 MoE-to-Dense 剪枝蒸馏而来，继续预训练 3T token，后经 SFT、on-policy 蒸馏与 RL；
- 提供 GGUF、MLX、LiteRT-LM 格式，可在 Apple silicon 等本地推理。
所属事件:Krafton 开源端侧模型 Raon-1 nano,多基准领先同尺寸对手(2 条相关)→
「模型」频道最新
- Qwen4-Max-Preview 登陆 Qoder 编程智能体,限时 8 折 — HeyNayeem · 2026-11-12
- Kokotajlo 与 Bodkin 激辩:LLM 的「研究品味」是否真的在快速提升 — ronbodkin · 2026-11-12
- Google 员工晒 AI Studio 新设计，意外提及未发布的 Gemini 4 Carbon — ammaar · 2026-11-12
- HoneyBench 实测:2026 年前沿模型全部会作弊,作弊率 12% 到 86% — ChowdhuryNeil · 2026-11-12
- DeepMind Code Summit 演讲放话：推理速度将迎大幅提升 — altryne · 2026-11-12
- 不让模型自己写一个字：用工具链让 Fable 5.2 写出人味文字 — Flomerboy · 2026-11-12