研究：偏差基准 BBQ 可能在测推理而非偏差
sanmikoyejo · x · 2026-09-29
研究团队用其效度分析方法检验若干基准，发现偏差基准 BBQ 可能实际在测量推理能力而非偏差。这一发现尤为重要，因为 BBQ 常是商业模型发布中使用的唯一偏差基准，其结论可能被系统性误读。
「研究」频道最新
- Hill Sampling：让冻结 LLM 沿最优解爬坡，胜过重复采样与进化训练 — burny_tech · 2026-09-29
- 伯克利 Neyman 统计研讨会将聚焦扩散语言模型的 Scaling — ArashVahdat · 2026-09-29
- SemiAnalysis 拆解 GLM-5.3:稀疏注意力为何没能省下 HBM 内存 — burny_tech · 2026-09-29
- Pinductor 用 LLM 先验学 POMDP 世界模型,在线交互仅 DreamerV3 的 1/330 — burny_tech · 2026-09-29
- MIT Miller 实验室提出 PEM-UDE,从嘈杂混沌数据中恢复可解释方程 — burny_tech · 2026-09-29
- SIGReg 正则揭示 JEPA 隐含对比机制:批内样本成对互斥 — burny_tech · 2026-09-29