新论文提出谱神经元,用特征值做非线性激活
CatAstro_Piyush · x · 2026-08-21
Alex Shtoff 发布预印本《The Spectral Neuron》,提出一种新的神经元模型。该模型使用对称矩阵作为权重,并以特征值作为非线性激活函数(即 $f(x) = \lambdak(A0 + A1 x + ... + An xn)$)。
这种方法在保留表达能力的同时,试图通过矩阵系数提供更好的可解释性和形状控制(如单调性、凸性)。论文提供了数学分析、初始化与训练方法,并在合成与真实数据上进行了扩展实验。
「研究」频道最新
- Google 发布 TIPS:具备空间感知的视觉语言模型,主打分割与深度估计 — _akhaliq · 2026-08-21
- Moderna 癌症疫苗 mRNA-4157:像云管道一样编译药物 — AppropriateAd2997 · 2026-08-21
- LisanBench 排行:测 LLM 推理与规则遵循能力 — thisguyknowsai · 2026-08-21
- 学者激辩 AI 审稿:是用代码替代人类审稿人,还是让 AI 把关? — soumitrashukla9 · 2026-08-21
- 「OpenAI 探索最大化、Anthropic 利用最大化」:pass@k 训练策略之争 — scaling01 · 2026-08-21
- 作者实测复盘:LLM 简历筛选的「偏见」多半是随机噪声 — Signal_Rabbit_8303 · 2026-08-21