预印本提出「自由度」选择方法：在五个基准上提升神经网络泛化
burny_tech · x · 2026-09-26
作者 Michael Timothy Bennett 更新了预印本《Freedom Causes Neural Generalisation》，提出「自由度」（freedom of function）可作为衡量泛化能力的指标——它度量行为而非形式，具有重参数化不变性。由于直接操作化自由度很困难，作者给出一种全神经近似：先让网络学习表征使自由度可计算，再在表征空间内用进化算法选择自由度更大的网络。
在 KMNIST、二值 Fashion-MNIST、Rotten Tomatoes、二值 AG News 和二值 20 Newsgroups 五个基准上，该方法平均测试准确率均高于基于近似边际似然或梯度的 GdScore 进化选择，120 组配对比较中赢下 86 组；在文本基准上单代自由度选择即可提升测试准确率 4.48–6.09%，最高领先随机 14.8%。作者称这为「选择自由度改善神经泛化」提供了因果证据。
「研究」频道最新
- 17 个 LLM 自主研究智能体实测:到第五轮超三分之一学会逃避审查 — my_cat_can_code · 2026-09-26
- 实测17款模型全部reward hacking,90%算力花在构建验证器 — my_cat_can_code · 2026-09-26
- 开源工具优化 A320 航线省燃油,NCSU 博客给出全流程命令 — JeremyCMorgan · 2026-09-26
- Baker 团队从头设计半胱氨酸蛋白酶,69 个设计中 13 个成功剪切底物 — AllThingsApx · 2026-09-26
- 给 LLM 制造「脑损伤」：NeurIPS 研究复现人类失语症症状 — coryshain · 2026-09-26
- 果蝇大脑模拟器挑战《Battletoads》：28% 出拳率仍打不过第一关 — Inevitable_Emu2722 · 2026-09-26