MLX gated-delta 训练提速：PR #1217 VJP 内核实测
Nihongi-studier12387 · reddit · 2026-08-14
开发者发现在 MLX 框架中训练 Qwen 3.5 的 gated-delta 层时，线性注意力机制会关闭融合内核（fused kernel），导致训练时退化为 Python 循环，严重拖慢速度并占用大量内存。
通过切换至 PR #1217 引入的 gated-delta VJP（向量-雅可比积）内核，性能获得显著提升：
- 迭代速度从 0.036 it/s 跃升至 0.15 it/s。
- 峰值显存占用为 11.7GB。
- 梯度范数与验证结果与原路径几乎完全一致，证明这是等效替换而非近似。
作者呼吁社区测试该 VJP 路径在不同形状或上下文长度下是否存在漂移问题，并探讨其合并入主分支的可能性。
「编程与Agent」频道最新
- 开源插件让你在 VS Code 等 IDE 中直接使用 Grok — PawelHuryn · 2026-08-14
- GitHub 开源项目 agent-skills：为 AI 编程助手提供可复用技能库 — kevinkern · 2026-08-14
- 推出Agent科学探究论坛,众包闲置算力攻克难题 — doodlestein · 2026-08-14
- Perplexity 推出 Agent API，多步研究能力翻倍提升 — perplexity_ai · 2026-08-14
- Arcee Nac 框架兼容主流编码工具 — code_star · 2026-08-14
- Grok Build 1.0.4 发布：新增中断钩子与域名过滤 — mark_k · 2026-08-14