新论文提出局部自适应神经网络:逐点训练最近邻并达 minimax 最优速率
udmrzn · x · 2026-11-18
arXiv 论文《Training Neural Networks to be Locally Adaptive》探讨回归问题中全局经验风险最小化的缺陷:当回归函数 f₀ 在不同区域变化剧烈程度差异很大(部分区域剧烈变化、部分近乎平坦)时,单一全局模型无法处处适用,在变化最剧烈处拟合最差。
作者提出对每个查询点 x,仅用其 k 个最近邻样本训练一个“局部神经网络”,使训练样本与拟合函数都依赖查询点。理论贡献包括:
- 当 f₀ 局部为 α-Hölder(α∈(0,1])且协变量支撑在 R^d 中 d 维流形上时,适当选取 k 可使逐点风险达到 n^{-2α/(2α+d)} 的速率(至对数因子);
- 通过 Le Cam 下界证明该逐点速率是 minimax 最优的;
- 局部最优速率要求 k 与 f₀ 光滑度匹配,但后者在实践中未知,作者给出一种局部自适应的 k 选择方法,可同时适应 f₀ 的局部 Hölder 指数与内在维度,且二者均可随协变量域变化;
- 附带大量模拟实验验证。
「研究」频道最新
- TCS 学界发布声明:招聘重质量轻数量,抵制 AI 论文军备竞赛 — fortnow · 2026-11-18
- 论文提出语言创造性的社会文化视角:从社区实践看创意生成 — abenitezburraco · 2026-11-18
- 无需训练或梯度:27B 模型可自行改写权重提升 unseen 任务 — udmrzn · 2026-11-18
- 开源 EDA 工具十年逆袭:从「不可能」到设计出蓝牙信标芯片 — IgorCarron · 2026-11-18
- AURA 2.0 发布:流式视频模型学会主动开口说话并调用工具 — Shuhan Li · 2026-11-18
- Orabona 撰文驳 AdaGrad 预条件化解释:全矩阵界限常不如标量学习率 — bremen79 · 2026-11-18