KEEP-Bench 揭穿上下文压缩：答案对不等于证据保得住
kaiwei_chang · x · 2026-10-23
KEEP-Bench 是一个直接检验上下文压缩忠实性的基准。传统 QA 评测只看最终答案是否正确，压缩模型即使丢掉或错误绑定了推理所需的关键证据（如把「Nova Mart 进入 Verdria 的时间」错误地绑定成另一州的事件年份），仍可能给出正确答案从而蒙混过关。KEEP-Bench 将参考答案拆解为原子证据命题，让评审模型逐条判断压缩后上下文是否仍蕴含每条命题，从而捕获传统评测漏掉的「不忠实压缩」。
「研究」频道最新
- 伯克利 StyleStream 2.0：流式语音转换延迟降至 520ms 提速一倍 — Berkeley · 2026-10-23
- 数学博士生宣布离开学术界：AI 正让数学变得面目全非 — pickover · 2026-10-23
- ICLR 投稿现 LLM 残留自评：作者模型自曝结果不显著 — _onionesque · 2026-10-23
- AKV 推理系统让 Agent 自管 KV 缓存,成本降 27.7% 准确率反升 — _akhaliq · 2026-10-23
- AuroraTTS-100K：不到 100K 参数的英文 TTS，INT8 仅 127KB — Tall_Abrocoma_3533 · 2026-10-23
- MiTaS 多分辨率触觉模仿学习登场：成功率 80% 远超纯视觉基线 35.5% — Jan_R_Peters · 2026-10-23