帽子矩阵一句话讲透:最小二乘拟合中每个数据点权重几何
RobertTLange · x · 2026-11-22
Robert Lange 用三步科普最小二乘回归中的帽子矩阵与统计杠杆(leverage)概念:
- 拟合对 y 是线性的:ŷ = Hy,其中 H = X(XᵀX)⁻¹Xᵀ,即“给 y 戴帽子”的矩阵。
- 对角元 hᵢᵢ 就是杠杆值:hᵢᵢ = ∂ŷᵢ/∂yᵢ,把 yᵢ 挪动 Δy,自身拟合值随之移动 hᵢᵢ·Δy。
- 杠杆只依赖 x 而非 y,且对角元之和等于参数个数 p,因此平均为 p/n——数据点多、参数少时单点影响自然被稀释。
这是理解线性回归诊断与数据点影响力的基础工具。
所属事件:帽子矩阵一句话讲透:最小二乘拟合中每个数据点权重几何(2 条相关)→
「研究」频道最新
- Energy-Based Reasoners 论文:用能量函数引导潜空间推理与自适应停止 — kalyan_kpl · 2026-11-22
- Lean 社区通过机器可验证检查器认证黎曼证明;蜜罐假密钥曝光三家大模型厂商泄露 — LeviTurk · 2026-11-22
- 土耳其数学家借 AI 证明黎曼假设?被嘲「有机土耳其人」 — CatAstro_Piyush · 2026-11-22
- Burkov 推出《百页语言模型书》:PyTorch 手把手从零构建 LLM — burkov · 2026-11-22
- 生成式 AI 进心脏病学:Dagstuhl 跨学科研讨会落幕 — StephanMandt · 2026-11-22
- SubRoformer 用 DSP 子带滤波器刷新音乐源分离 SOTA — affige_yang · 2026-11-22