开源 AkbasCore 单次运行 4 万次激活注入,实时窥探 Qwen 内部黑箱
Nearby_Indication474 · reddit · 2026-09-28
开源项目 AkbasCore 用冻结权重的 Qwen2.5-7B-Instruct 做激活转向(activation steering)实验,展示生成过程中模型内部发生了什么:
- 不微调、不用 LoRA,权重完全冻结;利用模型自身内部激活信号,为 8 个行为维度(如详细↔简略、冷静↔紧张)找出对立方向
- 8 个行为轴 × 20 层 = 160 个层局部合成转向方向,活在 3584 维隐藏空间中
- 推理时直接向内部激活流实时注入这些方向;L0-L19 介入,L20-L27 停止注入但继续观测,观察上游位移如何传导
- 最新一次运行在 Tesla T4 上完成,执行了 40,100 次实测激活注入,剂量最大偏差仅 1.623×10⁻⁸
- 产出 1 个原始回复 + 16 个转向回复,greedy 解码,28 层全部 X-Ray 观测,0 个可训练张量
作者强调重点不是评测答案质量或安全性,而是用全新 prompt 检验同一冻结转向引擎内部的实时行为。
所属事件:AkbasCore 开源:实时透视 Qwen 内部激活转向(3 条相关)→
「研究」频道最新
- ARLoop 开源循环 Transformer 全套配方,1.2B 胜过 Huginn-3.5B — Lianhuiq · 2026-11-11
- UniPath 被 NeurIPS 2026 接收:单模型自适应协调理解与生成 — jindong_wang92 · 2026-11-11
- Scale AI 1200+ 次训练对比 PPO 与 GRPO:小 batch 用 critic,大 batch 可省掉 — heghbalz · 2026-11-11
- 开源进程推进个性化胰腺癌疫苗:34 岁患者数据全公开征集专家意见 — jajoosam · 2026-11-11
- Ross Girshick 发布 CVPR 演讲幻灯片:复盘十五年目标检测史并衔接 LLM — CatAstro_Piyush · 2026-11-11
- KAIST 发现记忆会让 Agent 翻车,WikiTrace 用证据链接降 10.7 分差距 — dair_ai · 2026-11-11