MoE 稀疏率仅约 5%,被用作反驳意识复杂度论断的实例

JoshPurtell · x · 2026-10-06

Josh Purtell 在与 Victor Levoso 关于意识与复杂度的辩论中举证:当前 LLM 的 MoE(混合专家)架构通常只以约 5% 的稀疏率运行,但这是出于硬件与训练约束,而非模型总复杂度与有效复杂度的真实比例。他认为这构成对方「大脑没有大量闲置复杂度」论证的反例——MoE 总参数远多于激活参数,模型依然有效且更复杂。

所属事件:意识需要多少算力?X 网友激辩大脑复杂度量级(9 条相关)→

原文链接 →

「漫话AGI」频道最新

更多「漫话AGI」频道 AI 资讯 →