MoE 模型规模定律实验：BEIR 上收益有限
antoine_chaffin · x · 2026-08-26
用户分享了对混合专家(MoE)模型规模定律的实验数据。在 BEIR 基准测试中，虽然观察到一些收益，且发现嵌入维度维度不需要随规模扩大，但相比密集缩放提升有限，并出现边际效应递减。实验限制在 1B 参数模型。
「研究」频道最新
- NVIDIA 展示如何用 AI 编码智能体解锁材料模拟工作流 — PyTorch · 2026-08-26
- Foveated Diffusion：仿人眼视觉的高效图像视频生成 — CSProfKGD · 2026-08-26
- AI 天气模型 Zeus 上线能源感知功能，优先欧洲 — const_reborn · 2026-08-26
- 直接在 Prompt 中运球绕过 AI 水印 — JulianHabekost · 2026-08-26
- Agent Skills 反被证实拖累性能？WebDev 基准实测揭示 — dair_ai · 2026-08-26
- 机器学习数学基础其实只需三件套：线代、微积分与概率 — TivadarDanka · 2026-08-26