oMLX 移植 antirez ds4 方向性激活转向,Qwen3.8 上实测可行
Undici77 · reddit · 2026-11-20
作者把 antirez 的 ds4 方向性激活转向(directional steering)思路移植到本地推理引擎 oMLX,并在 Qwen3.8 Flash Next 上量化实测。
原理:一个「pack」从成对 prompt(如简洁 vs 冗长请求)中为每层学一个方向;推理时 hook 沿该方向偏移每层注意力分支的输出,强度可在模型设置中实时调整,无需微调,不设 pack 时模型行为完全不变。
实测结果(MacBook Pro 14" M4 Max 128GB,oQ4e+MTP,100 对 verbosity pack,temperature 0):
- 强度 -0.5:回答长度 -24-30%,中性文本 KL 0.021,NLL -0.3%
- 强度 -1:长度 -46-50%,KL 0.045,NLL +0.2%
- 重复率下降,valid JSON 不受影响
- 计算开销:默认只在 prompt+前 32 token 应用时 +0.2–0.4%(噪声级内);每 token 应用约 +5%
代码在 omlx 的 steering-experimental 分支,作者征集投票希望合入主线。
「Infra」频道最新
- 投资人称英伟达算力兜底不可怕:至少三家竞品正争夺「AI 央行」 — GavinSBaker · 2026-11-21
- 实测 11 个开源模型新注意力架构:128K 上下文显存最高省 139 倍 — bariskasikci · 2026-11-21
- Anthropic 已递交纳斯达克上市申请,博主劝你先在本地存一个开源模型 — alex_verem · 2026-11-21
- 微软推 MAI Licensed Weights:可带走前沿模型权重部署到自有环境 — marlene_zw · 2026-11-21
- Looped CED 论文:循环复用编码器 KV 缓存省 36.8 倍内存 — teortaxesTex · 2026-11-21
- Google:Agent 是会话不是请求,GKE 节点池要按会话来规划 — rseroter · 2026-11-21