硬核折腾：尝试从Kimi K3大模型中提取MoE专家
StableDiffer · reddit · 2026-07-30
有开发者尝试使用REAP（基于路由的专家移除）方法，从Kimi K3（或GLM 5.2）等混合专家模型中提取单独的专家网络。
作者表示，受限于硬件条件，目前只能勉强运行K3的一个专家模型。他好奇这些被提取出的专家是否能在特定任务上表现出通用性。虽然将模型压缩至104B参数级别很有趣，但他也坦言，这种粗暴提取的模型最终效果大概率会很差。
「模型」频道最新
- Meta 开源 Muse Spark 权重，扎克伯格只能在 X 上感谢苹果 — AIFlow_ML · 2026-10-16
- Reddit 用户实测称 ChatGPT Pro 三档套餐用量上限几乎相同 — These-Breadfruit4067 · 2026-10-16
- 用户投诉 Gemini 记忆删不掉,关掉重开依然全记得 — ThrowRA_Purpose2025 · 2026-10-16
- 曝 OpenAI 暗测内部神秘模型 Aeon：已现身 Codex 桌面版用量面板 — cedric_chee · 2026-10-16
- 博主实测：argon 日常全面能打，但重度编码仍略逊 Claude — iruletheworldmo · 2026-10-16
- NVIDIA 发布 Qwen3.8-Flash FP4 量化版，主打本地部署 — nvidia · 2026-10-16