用两个指标量化上下文干扰
sanmikoyejo · x · 2026-07-16
作者观察到,这种**上下文诱发的不稳定性**存在于多种 SOTA 模型中,并提出了两个互补指标来量化它: - **INS**:衡量每个样本平均有多敏感 - **WTD**:衡量受影响最严重样本的性能下降幅度 这条是在说明他们如何把“上下文干扰”从现象变成可测量指标。
sanmikoyejo · x · 2026-07-16
作者观察到,这种**上下文诱发的不稳定性**存在于多种 SOTA 模型中,并提出了两个互补指标来量化它: - **INS**:衡量每个样本平均有多敏感 - **WTD**:衡量受影响最严重样本的性能下降幅度 这条是在说明他们如何把“上下文干扰”从现象变成可测量指标。