观点:显存总预算受限时,MoE 未激活参数就是死重
TimDarcet · x · 2026-10-21
作者提出:在总内存受限的前提下,MoE 中未被激活的参数就是纯占显存的死重。由此推论,要追求单位 GB 显存下的最优智力,不如直接选择 dense 模型。
所属事件:观点:显存受限时 MoE 未激活参数纯属死重,不如上 dense 模型(2 条相关)→
「模型」频道最新
- claudefriend 聊天截图泄底:政策模型竟是专为 Claude 调教的 Qwen — Sauers_ · 2026-10-21
- 微软在 Hugging Face 上架基于 Mistral-7B 的情感分析模型 — NielsRogge · 2026-10-21
- 问 AI agent 最喜欢什么颜色,它居然真有偏好 — every · 2026-10-21
- Google 展示 Gemini 4 Argon 用 Antigravity 造出动态 3D 元素周期表 — sundarpichai · 2026-10-21
- MiniMax 跟进 GTC 发布潮,M3.1 Flash 曝光 — MaziyarPanahi · 2026-10-21
- Claude Max 5x 额度大幅宽松,用户一周狂烧也用不完 — Angaisb_ · 2026-10-21