NeurIPS 论文 LSA:可学习谱激活让 INR 重建质量全面超越 SIREN/FINER
orlitany · x · 2026-10-23
Tamir Shor、Or Litany、Alex Bronstein 团队发布 NeurIPS 论文《Learnable Spectral Activations》(LSA),并公开代码。
- 核心思路:现有 INR 方法主要靠修改坐标编码或周期非线性来决定网络「能访问哪些频率」;LSA 认为瓶颈不止于此——局域或空间变化信号需要网络把频率高效组合成多谐波响应。LSA 用一个残差截断傅里叶级数替换固定的神经元级激活函数,谐波幅值在训练中学习。
- 机制:不扩大函数类,而是改变表示的因式分解——线性权重负责特征选择,激活系数负责谱整形,二者由不同梯度分别更新,谱调优成为更直接的子问题。
- 理论支持:该分解使目标信号能量集中在 NTK 主特征模上,优化行为改善。
- 效果:在音频、图像、NeRF、神经声场等任务上重建质量均提升;配图展示仅从梯度重建图像时,LSA 达到 PSNR 19.95 dB,显著高于 SIREN 的 15.25 dB 和 FINER 的 13.48 dB。
「研究」频道最新
- 科学美国人揭秘 OpenAI 百万美元数学证明背后的故事 — scientificamerican · 2026-10-23
- UCSC 等发布 ALPS 编码器：一套视觉 token 统一状态、语言与像素 — cihangxie · 2026-10-23
- 用 EmbeddingGemma 2 做语音转写：1 小时音频本地 13 秒完成 — GlennCameronjr · 2026-10-23
- 研究者呼吁开源模型训练数据归因：LLM 已被证实记住 Cas9 等序列 — anshulkundaje · 2026-10-23
- Motoniq 让 VLA「反思自己的思考」：Perturbed LIBERO 成功率 92% 远超对手 — hbouammar · 2026-10-23
- Sasha Rush 吐槽「Vibe ML 论文」：先整活再补一章理论分析 — srush_nlp · 2026-10-23