相对 Fisher 信息与大模型自然梯度法
FrnkNlsn · x · 2026-09-01
推荐了 Frank Nielsen 等人在 ICML 2017 发表的论文，探讨相对 Fisher 信息（RFIM）和相对自然梯度在大规模模块化模型中的应用。该方法通过从大型神经网络中提取局部组件来定义不变性度量，从而简化几何结构并指导优化过程。
「研究」频道最新
- RT-SAFE 基准：8 个前沿 VLM 任务成功率达 94%，安全通过率仅 0.7% — Lianhuiq · 2026-10-06
- 动态权重嫁接：定位微调事实在 Transformer 中的两条检索通路 — ChenhaoTan · 2026-10-06
- 数学家 Strogatz 指出 Wolfram 囚徒困境实验缺了演化选择这一环 — stevenstrogatz · 2026-10-06
- 预测与实测扰动相关性仅 0.08，学者质疑「虚拟细胞」巨额投入方向 — anshulkundaje · 2026-10-06
- LLM 说「不确定」时到底指什么：校准与语义之辩 — sineadwilliamso · 2026-10-06
- PluginRSI 把 agent harness 拆成可复用插件递归进化,跨任务加速优化 — Yaorui Shi · 2026-10-06