oMLX 移植 antirez ds4 方向性激活转向,Qwen3.8 上实测可行

Undici77 · reddit · 2026-11-20

作者把 antirez 的 ds4 方向性激活转向(directional steering)思路移植到本地推理引擎 oMLX,并在 Qwen3.8 Flash Next 上量化实测。

原理:一个「pack」从成对 prompt(如简洁 vs 冗长请求)中为每层学一个方向;推理时 hook 沿该方向偏移每层注意力分支的输出,强度可在模型设置中实时调整,无需微调,不设 pack 时模型行为完全不变。

实测结果(MacBook Pro 14" M4 Max 128GB,oQ4e+MTP,100 对 verbosity pack,temperature 0):

代码在 omlx 的 steering-experimental 分支,作者征集投票希望合入主线。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →