J-lens 实测：对训练未见编辑仍达成 49%-78% 修改成功率
Sauers_ · x · 2026-10-21
作者演示 J-lens「多少有点用」，并附上了一张评测图表，对比三种方法按用户要求改动模型输出（share of the requested change）及模式匹配相关性：
- 训练集内的组合（概念、措辞、模式）：训练用概念向量达 75%，J-lens 仅 19%
- 训练中从未见过的泛化场景：措辞编辑 78% vs 22%，概念编辑 71% vs 20%，同时做三处编辑 60% vs 17%，reply-token 模式 66% vs 16%，layer 模式 56% vs 15%，概念+措辞+layer 模式组合 49% vs 13%
- 随机向量基线几乎全为 0
结论：J-lens 虽明显弱于训练时直接使用的概念向量，但在完全未见过的编辑类型上仍保持正向效果，说明该探针方法有一定泛化能力。
所属事件:给 Qwen3 加「计划」训练，可将任意模式编译成逐层步骤(3 条相关)→
「研究」频道最新
- NeurIPS 2026 主会报名不含工作坊，教授提醒需单独加购 — CSProfKGD · 2026-10-21
- GovAI 分析：开源与闭源模型生物能力差距仅约 7 个月 — Manderljung · 2026-10-21
- 可实证性越强的学科引用越平等？经济学家补充一个反例 — soumitrashukla9 · 2026-10-21
- 深度学习可解释性入门:ISM、DeepLIFT、DeepSHAP 等方法图解 — anshulkundaje · 2026-10-21
- TerminalBench 作者回应评测争议：建数据难，欢迎加入社区共建 — ajratner · 2026-10-21
- 开源项目做成创业公司：FrontierCS 团队晒「B 轮」与五个月冲刺 — OfirPress · 2026-10-21