纯 Rust+Vulkan 训练框架 Hierarchos v0.2.0:RDNA3 WMMA 加速与原生多模态训练
PhysicsDisastrous462 · reddit · 2026-11-17
开发者 necat101 发布 Hierarchos-Native v0.2.0,一个不依赖 Python/PyTorch/CUDA/ROCm/oneAPI 的 Rust+Vulkan 训练、微调与推理框架。
主要更新
- RDNA3 WMMA 加速:为 AMD RDNA3 实现 opt-in 的 Vulkan cooperative-matrix 执行路径,FP16 矩阵操作数 + FP32 累加,主权重、梯度、AdamW 优化器状态、归一化/softmax/loss 全保持 FP32,而非整模型转 FP16。在 Ryzen Z1 Extreme 上单 GEMM 提速:QKV 投影 2.17×、FFN up 2.12×、FFN down 2.31×、词表投影 1.83×
- 诚实的性能表态:小矩阵因转换/staging 开销反而更慢,作者实现了 profitability policy 让小算子留在 FP32 内核;实测端到端训练步在 512-row 测试中反而更慢(14.04ms vs 12.29ms),因此 Mixed WMMA 默认关闭——『比起展示误导性的内核级数字,更想让它真的更快』
- 原生多模态训练:图像-文本管线包含 RGB 图像预处理、CLIP/LLaVA projector 集成、SigLIP/Gemma 3 vision 训练、Gemma 4 vision 集成、专用 DeepSeek V4.1 图像训练路径、对图像塔和 projector 的反向传播,是真正的训练而非冻结语言模型+预计算 embedding
项目已开源(GitHub: necat101/Hierarchos-Native),提供 Windows 便携版下载与 WMMA 指南。
「Infra」频道最新
- Hugging Face 员工把 Gemma 3 270M 塞进激光打印机,60 秒吐一个 token — osanseviero · 2026-11-17
- 新推理引擎抛弃旧 GPU:llama.cpp 与混合部署能否续命 — pipecanon · 2026-11-17
- 博主 argue 全面封堵算力反而催生对手盲区与加速 — TinfoilTricorn · 2026-11-17
- LLM 后训练中生成与训练并行致数据陈旧,系统分析如何提速蒸馏管线 — burkov · 2026-11-17
- SK 海力士对英伟达收入翻倍至 240 亿美元,但真正的集中风险在美系客户 — tengyanAI · 2026-11-17
- macOS 连续运行 49.7 天后 TCP 栈爆雷,新连接全部失败 — DanielLockyer · 2026-11-17