同样的权重，在不同输入下效用可能天差地别
TheGradient · x · 2026-07-24
这条帖子用一个 ReLU 图示说明：看权重大小来判断神经元有多重要，可能会严重失真。
- 两个神经元的权重范数完全一样，但在不同输入分布下，实际作用可以差很多。
- 图里一个输入分布让 ReLU 高度激活，另一个则让它大部分时间都“死掉”，说明上下文和数据分布同样关键。
- 也就是说，参数大小并不能直接代表神经元的真实效用。
「模型」频道最新
- MiniMax 称 AMD MI355X 在模型 serving 上已接近 B200 — hongyangzh · 2026-07-24
- NVIDIA 把 LLM agent 直接做成 Python 对象 — nvidia · 2026-07-24
- 让模型画鹈鹕骑车，结果成了一场开源比拼 — Atretador · 2026-07-24
- Codex 上线使用额度重置日历，覆盖 2026 年 6—7 月 — haider1 · 2026-07-24
- GLM 5.2 在长链路浏览基准上接近翻倍 Kimi K3 — zainhas · 2026-07-24
- KAT-Coder-V2.5-Dev 开放权重，35B 总参 3B 激活 — AdinaYakup · 2026-07-24