独立项目 AkbasCore 2.0:阻尼多轴激活转向内核在 Qwen2.5-7B 上验证
Nearby_Indication474 · reddit · 2026-09-13
独立研究者公开 AkbasCore 2.0(DRA/Manifold)的初步结果,在 Qwen2.5-7B-Instruct 上验证了一种新的激活转向(activation steering)方案。要点:
- 现有方法的三堵墙:平坦无阻尼的 activation addition 在强度增大时损害输出连贯性;多数已发表方法在数学上只是缺少阻尼项的纯比例控制器;多方向叠加会产生概念间干扰,且强度需逐层手工调参。
- DRA(阻尼共振对齐):增益公式 behaving 如临界阻尼振荡器——首层强、平滑衰减、收敛到一个小的非零底值而非归零或振荡,作者称文献中未检索到先例。
- Manifold 多轴架构:C++ 内核中用 Gram-Schmidt 使多个转向方向互相正交并对齐安全/逻辑参考方向,每个轴有独立的层深激活窗口,可在共振模式与吸引子模式间连续调节。
- 三遍测量设计:Vanilla / 仅 Axis0 / 全 3 轴三组对照,把单轴效应与跨轴干扰解耦。
作者注明这是非正式发布,完整的 MMLU/HumanEval 类能力保持测试与多种子统计验证尚待后续进行,结论应视为初步结果。
「模型」频道最新
- Hugging Face 出现 DeepSeek-V4.1-Flash 去审查版,官方未证实 — dealignai · 2026-09-13
- 小于 3B 开源端侧模型怎么选？LFM2.5 与 MiniCPM5 获推荐 — reach_vb · 2026-09-13
- 网友抱怨用户施压致 DeepSeek 不敢下线 V4 Pro，拖累 4.2 研发 — teortaxesTex · 2026-09-13
- 用户视角：模型频繁弃用正把人推向开源权重模型 — marlene_zw · 2026-09-13
- 西湖大学提出 Code World Model:用代码保世界规则,视频只管渲染 — jiqizhixin · 2026-09-13
- Abacus AI 发布 Smaug Mini 27B 开放权重,Flash 定价低至 $0.1/M — bindureddy · 2026-09-13