Reddit 讨论：Softmax 输出仅 N-1 自由度，能否少一层参数？

Kinexity · reddit · 2026-09-29

有 Reddit 用户提出一个架构思路：softmax 输出受「和为 1」约束，实际只有 N-1 个自由度，因此理论上可以假设 logits 之和为零（或任意常数），让最后一个 logit 由其余 logits 的负和推出，从而用 N-1 个输入替代 N 个，减少最后一层参数，或可能略微加快收敛。

发帖人自己也承认收益在几乎所有场景下可忽略，询问除此外是否有不做它的理论理由——相当于探讨过参数化 softmax 的可行性与意义。