MoE 稀疏率仅约 5%,被用作反驳意识复杂度论断的实例
JoshPurtell · x · 2026-10-06
Josh Purtell 在与 Victor Levoso 关于意识与复杂度的辩论中举证:当前 LLM 的 MoE(混合专家)架构通常只以约 5% 的稀疏率运行,但这是出于硬件与训练约束,而非模型总复杂度与有效复杂度的真实比例。他认为这构成对方「大脑没有大量闲置复杂度」论证的反例——MoE 总参数远多于激活参数,模型依然有效且更复杂。
所属事件:意识需要多少算力?X 网友激辩大脑复杂度量级(9 条相关)→
「漫话AGI」频道最新
- 数十个 agent 全天候自跑,开发者直呼被 AI 生产力震到清醒 — kevinnbass · 2026-10-06
- Mollick 借 90 年代复印机维修民族志谈 AI 替代工作的复杂性 — emollick · 2026-10-06
- AI 时代重估「竞争是输家游戏」:零和能力正变得空前值钱 — abhiadesai · 2026-10-06
- 意识只需 10^15-10^16 次运算?推友激辩大脑复杂度量级 — JoshPurtell · 2026-10-06
- 诺亚·史密斯:AI 未夺走大毕业生工作,却在抢艺术家饭碗 — i_dg23 · 2026-10-06
- 作者提出意识判据:架构每步变异才算 AI 有意识 — ryunuck · 2026-10-06