同一作者再谈架构：内存受限时 MoE 未激活参数纯属死重
TimDarcet · x · 2026-10-21
作者连续发帖讨论模型架构：在总内存受限的前提下，MoE 里未被激活的参数就是纯占显存的死重。由此推论，要追求单位 GB 下的最优智力，不如直接上 dense 模型。另外顺带称赞 Llama 4 tokenizer「能用、不折腾」。
所属事件:观点：显存受限时 MoE 未激活参数纯属死重，不如上 dense 模型(2 条相关)→
「模型」频道最新
- 用户抱怨 ChatGPT 桌面端频繁崩溃，连累所有 Agent 中断 — wstone_bd · 2026-10-21
- 波兰开发者回应质疑:开源旗舰模型基于 Gemma,非简单 LoRA 微调 — ColinWPLewis · 2026-10-21
- X 热榜三条 AI 速览：Holon-S1 预测癌片基因活性、decision models 走红 — iScienceLuvr · 2026-10-21
- OpenAI 多语言编程基准 MultiLangBench：PHP 拿下单项最高 91.3% — ricklamers · 2026-10-21
- 具身评测 704 票 Elo：Claude Opus 5.5 以 1379 分领跑机器人操作 — qinzytech · 2026-10-21
- DeepSeek V4 被评「神级 infra + 四流 ML」:一次发布堆 7 个技巧 20 个补丁 — teortaxesTex · 2026-10-21