统计杠杆的三个妙用:免费 LOOCV、稳健加权与随机草图
RobertTLange · x · 2026-11-22
Robert Lange 继续科普统计杠杆(leverage)的进阶用途:
- 免费获得 LOOCV:留一法残差恰为 eᵢ/(1 − hᵢᵢ),因此 LOOCV = (1/n) Σ (eᵢ/(1 − hᵢᵢ))²,无需重新拟合模型。
- 稳健统计:广义 M-估计量会同时下调大残差点和高杠杆点的权重。
- RandNLA(随机化数值线性代数):利用杠杆值对矩阵行进行子采样,构造廉价的随机草图(sketches)。
展示了这一经典概念从回归诊断到大规模随机算法的贯通应用。
所属事件:帽子矩阵与统计杠杆科普:从最小二乘到免费留一验证(2 条相关)→
「研究」频道最新
- François Fleuret 灵魂发问:梯度是不是日本人——被问了绝不沉默 — francoisfleuret · 2026-11-22
- 帽子矩阵一句话讲透:最小二乘拟合中每个数据点权重几何 — RobertTLange · 2026-11-22
- Energy-Based Reasoners 论文:用能量函数引导潜空间推理与自适应停止 — kalyan_kpl · 2026-11-22
- Lean 社区通过机器可验证检查器认证黎曼证明;蜜罐假密钥曝光三家大模型厂商泄露 — LeviTurk · 2026-11-22
- 土耳其数学家借 AI 证明黎曼假设?被嘲「有机土耳其人」 — CatAstro_Piyush · 2026-11-22
- Burkov 推出《百页语言模型书》:PyTorch 手把手从零构建 LLM — burkov · 2026-11-22