Raon-1-mini 原生移植实测：prefill 慢 200 倍，作者开源补丁求优化
Queasy_Asparagus69 · reddit · 2026-10-30
开发者在 7900 XT（ROCm 7.1）上把 KRAFTON 的 Raon-1-mini-preview（28.8B/4.3B MoE）移植为 hipfire 原生 MQ4 量化并实测，结论是：想直接用模型请选 KRAFTON 的 llama.cpp 分支 + 官方 GGUF，hipfire 版本 prefill 慢约 200 倍（12.6 vs 2,055 t/s）、decode 慢约 10 倍。
亮点
- 比官方 GGUF 小 1.29 GB，混合架构（RDA 线性注意力 + gated MLA + mHC + 128 专家 MoE）全部原生运行，各模块对照 fp32 参考实现验证，与 GGUF 的 mean KL 仅 2.06
- 找到 hipfire v0.4.2.1 对该架构完全无法生成的 bug（genstart 报错），补丁已开源
问题与发现
- 推测慢因是 hipfire 的 Raon 路径逐 token 处理递归状态、无批量 prefill kernel
- 思考模式常无法闭合；needle 测试在 2K/8K 出现 prompt 回声，但官方 GGUF 在 26,962 token 下正常，指向引擎与 checkpoint 在贪心采样下的交互问题
- 20 GB 显存上限为 65K 上下文
作者将此作为 Raon kernel 优化的 before 基线，仓库含可复现补丁与 kernel 文件，欢迎社区做批量 prefill。
「Infra」频道最新
- Altman 称内存厂商每家年自由现金流可达千亿美元仍不肯扩产 — beffjezos · 2026-10-30
- 冲进 GPU kernel 榜前十：2 倍提速背后的 agent 搜索经济账 — JensHonack · 2026-10-30
- 分析师看衰 Intel 预测:PC 市场要到 2027 下半年也难回暖 — BenBajarin · 2026-10-30
- Workhorse 获 1000 万美元建 TerraPod 样机，规划首批 150 套系统订单 — Poka-yoke1 · 2026-10-30
- Epoch AI:全球 AI 算力增速放缓至每年 2.5 倍,约 9 个月翻一番 — Jsevillamol · 2026-10-30
- Cerebras 工程拆解:万亿参数模型如何塞进晶圆级芯片集群 — ceciletamura · 2026-10-30