Qwen2.5-7B 自建合成转向向量:注入前 20 层后逐层 X 光测量
Nearby_Indication474 · reddit · 2026-09-27
AkbasCore KIZILELMA Live X-Ray 是一个开源/Colab 演示:在 Qwen2.5-7B-Instruct 推理过程中实时做激活转向,并可视化全部 28 层的隐藏状态变化,流程为「内部提取 → 合成向量构建 → 注入 → 关闭引擎 → 28 层 X 光」:
- 从模型自身隐藏状态中提取指定概念的表征对比;
- 自动构建 20 个层局部(L0–L19)× 3584 维的合成转向向量;
- 以实测的范数相对剂量注入 L0–L19,在 L19/L20 边界完全停止转向;
- 随后测量 Vanilla→SEASC 的隐藏状态位移,覆盖 L20–L27(无新注入的层),观察效应如何传播。
全程无需外部转向向量、LoRA、微调或权重修改。提供交互式 demo 和一键 Colab A100 实验(环境就绪后全流程仅数秒),并发布在 GitHub(titan-cognitive-core)及 Zenodo(DOI 10.5281/zenodo.22979417)。作者还建议把代码链接交给多个 AI 系统独立审查其真实性。
所属事件:AkbasCore 开源:实时透视 Qwen 内部激活转向(3 条相关)→
「研究」频道最新
- NYU 新方法:看人做 5 分钟家务,机器人就能学会擦桌子 — CyberRobooo · 2026-11-11
- 新预印本:以空间单细胞分辨率绘制早期器官发生的人类胚胎图式 — anshulkundaje · 2026-11-11
- OpticalRAG:文档渲染成图压缩至 16 个 token,三项基准压缩感知精度最佳 — kalyan_kpl · 2026-11-11
- 百度发布 ERNIE Evolve 自动研究系统,NanoGPT Speedrun 超公开最好成绩 — xiaohu · 2026-11-11
- Diffusion Week 2026 十讲全部公开:覆盖视频生成与世界模型 — LucaAmb · 2026-11-11
- 多数模型会在 MaxxBench 上提及隐藏测试,疑似训练数据污染 — dejavucoder · 2026-11-11