Rust+Vulkan 推理引擎 Hierarchos Native 更新：Intel HD 520 流式延迟降 58.3%

PhysicsDisastrous462 · reddit · 2026-11-03

开发者发布 Hierarchos Native 大版本更新——一个无需 Python/PyTorch/CUDA/ROCm 的 Rust+Vulkan 语言模型训练、微调与推理后端。主要改动：

DeepSeek V4.1 Flash 移植：融合 selected-expert 执行、批量 expert 上传、打包权重路径、checkpoint 缓存及原生 LoRA/rsLoRA 训练（支持保存/恢复/导出）。
Intel Gen9 覆盖扩展：修复 Qwen3-Next padding、DBRX expert 布局，新增 T5/BART/Switch 编解码投影流式路径。
关键成绩：i5-6200U / Intel HD 520 上 Llama 全宽流式前向中位延迟从 11.016ms 降至 4.597ms（-58.3%），每次前向 GPU submission 从 19 降到 4；八组对照架构流式中位数降低 42.4-78.4%。
RDNA3 认证：166/166 前向、72/72 生成全部通过，CPU logit 最大绝对误差低于 2e-7（rtol=0），常驻与流式输出位级一致；同时修复 RDNA3 上的 GPT-2 padding 数值一致性问题，585 个既有 shader 二进制不变。
RDNA3 上 V4.1 延迟较上版：常驻 prefill -24.4%、常驻 decode -50.2%。

「Infra」频道最新