Dettmers 详解逐层敏感度探测与动态专家交换

Dettmers 详细解释了动态压缩的核心技术：难点在于逐层估计压缩敏感度，因为后层依赖前层，迭代敏感性探测利用模型逼近崩溃边缘时单层压缩更易估计的特性来逐步求解。部署侧通过 Dynamic REAP 实现，即使每层仅保留约 25% 的专家，被移除专家的路由概率仍反映当前分布需求，可从 CPU RAM 或 NVMe 动态换回，每 256 token 异步换 4 个专家而不伤推理质量。

2026-09-22 ~ 2026-09-22 · 2 条相关