个人 Rust+Vulkan 训练后端两周进展:14 个架构对齐验证,PEFT 完整可用
PhysicsDisastrous462 · reddit · 2026-09-30
一位独立开发者更新其纯 Rust + Vulkan 的 Transformer 训练后端:
- 架构对齐验证:以固定版本的 HuggingFace Transformers 为参照,比对前向 logits、梯度与两步 AdamW 后的所有参数,硬性误差上限 2e-7;现已通过 14 个架构,包括 Falcon H1(GQA/RoPE+Mamba2 混合)、DeepSeek V4、Kimi K2.5/K3(KDA+MLA)、Qwen2.5/3.5/4-Exp、GPT-OSS、Mistral 4、MiniMax M2/M3、Gemma 3/4、Phi-3/4 等;最大观测误差 1.19e-7
- 验证硬件:全部本地 Vulkan 验证在 ASUS ROG Ally Z1 Extreme 的 AMD RDNA 3 核显上完成
- PEFT 全流程可用:LoRA 微调支持与 HF 生态互通的 adapter 导出、modulestosave 全量可训替换、精确断点恢复(位级一致)、merge/unmerge、多 adapter 加载与隔离防泄漏、自动选最大可用 rank 的参数预算旗标;32 个架构面通过三阶段 PEFT 门禁,冻结基座漂移为 0
- 验证 harness 现在同时指纹化 Transformers 源码与作者着色器/二进制,防止跑错参照
所属事件:独立开发者 Rust+Vulkan 训练后端两周进展：14 种架构通过校验(2 条相关)→
「Infra」频道最新
- 堆 GPU 和 token 能加速 AI 自我迭代吗？ — menhguin · 2026-09-30
- 9B 开源模型换入云端 Agent 系统,准确率从 96% 跌至 62.3% — TheZachMueller · 2026-09-30
- 黄仁勋：AI 数据中心年增 10-20GW，创造约百万岗位 — victor_explore · 2026-09-30
- 首届 SGLang Summit 定档 11 月:英特尔 CEO 与 Karpathy 级阵容齐聚 — BanghuaZ · 2026-09-30
- OpenAI 自研芯片负责人 Richard Ho 访谈上线 — bookwormengr · 2026-09-30
- Tenstorrent 开放生物模型训练:Blackhole Galaxy 性能接近 DGX H200,成本仅四分之一 — MoAlQuraishi · 2026-09-30