无需标签的熵梯度 steering vector：300 行代码更好模拟温度采样
voooooogel · x · 2026-09-29
开源项目 entropy-vector 提出一种全新的 steering vector 构造方法：从输出熵的梯度出发，不需要任何标签或对比样本对。
核心做法：
- 对模型采样出的续写，计算 softmax 熵并反向传播到 residual stream，得到平均梯度 g；
- 对多层多序列的 hidden 状态做协方差，取第 16..255 特征值 rank 的特征向量张成子空间，将 g 投影归一化得到 v；
- 该向量在功能上是比温度更好的熵控制器，并附带 EOS 与重复控制的实现。
代码不到 300 行，已在多个模型上测试。运行示例：uv run egv.py --model meta-llama/Llama-3.2-3B-Instruct --site 14 --out v.npz。
「研究」频道最新
- RECLAIM 预印本:最佳 AI agent 仅复现 41% 有代码论文结果 — VraserX · 2026-09-29
- 扩散薛定谔桥论文:迭代扩散求解熵正则最优传输加速生成建模 — skoularidou · 2026-09-29
- NeurIPS 论文揭秘蛋白质折叠模型:三模型收敛出相同两阶段机制 — rishabh16_ · 2026-09-29
- 斯坦福新课 CME 295 回归:Lecture 1 已上线 YouTube — afshinea · 2026-09-29
- Astra 通关 Zork 靠作弊?博主分析:像背攻略而非真探索 — rajammanabrolu · 2026-09-29
- USC 论文：九种 LLM 数字嵌入均现周期 2/5/10 傅里叶尖峰 — BrihiJ · 2026-09-29