AkbasCore 开源:免微调向 Qwen2.5-7B 注入行为转向向量
Nearby_Indication474 · reddit · 2026-09-28
开发者开源 AkbasCore,对 Qwen2.5-7B 做推理时激活转向(activation steering),全程不改权重、不训练:
- 自建转向向量:从模型自身 hidden-state/residual-stream 激活中,提取 8 组对立行为维度的方向(详细↔简洁、创意↔平实、冷静↔紧张、礼貌↔粗鲁等),不加载现成向量
- 活体注入:生成时把合成的 3584 维方向向量注入 L0–L19 层的激活流,L19 后关闭引擎
- 全层 X-Ray:干预停止后继续逐层观测剩余 8 层,量化影响如何传播,共观测 28/28 层
- TEST 250 结果:单次实验产出 1 条 vanilla + 16 条转向输出(greedy 解码、同一 prompt)。最明显的是详细↔简洁轴:同 prompt 产出 114 词 vs 31 词,L27 隐状态分离度 40.50%;创意轴 113 vs 53 词,分离度 30.76%
作者承认不保证 8 个行为维度完全独立或完美可控。项目开源可复现。
所属事件:AkbasCore 开源：实时透视 Qwen 内部激活转向(3 条相关)→
「研究」频道最新
- ARLoop 开源循环 Transformer 全套配方，1.2B 胜过 Huginn-3.5B — Lianhuiq · 2026-11-11
- UniPath 被 NeurIPS 2026 接收：单模型自适应协调理解与生成 — jindong_wang92 · 2026-11-11
- Scale AI 1200+ 次训练对比 PPO 与 GRPO:小 batch 用 critic,大 batch 可省掉 — heghbalz · 2026-11-11
- 开源进程推进个性化胰腺癌疫苗:34 岁患者数据全公开征集专家意见 — jajoosam · 2026-11-11
- Ross Girshick 发布 CVPR 演讲幻灯片:复盘十五年目标检测史并衔接 LLM — CatAstro_Piyush · 2026-11-11
- KAIST 发现记忆会让 Agent 翻车，WikiTrace 用证据链接降 10.7 分差距 — dair_ai · 2026-11-11