迭代敏感性探测:Dettmers 解释如何逐层逼近模型压缩崩溃边界
Tim_Dettmers · x · 2026-09-22
动态压缩最大难点是估计每层对压缩的敏感度:后层依赖前层,压缩越多敏感度越变,形成复杂组合问题。迭代敏感性探测的直觉是:模型越接近性能崩溃的"不稳定边缘",单层压缩时就越容易估计多层间交互。流程:从未压缩模型出发,测量各层敏感度,识别高敏感层,稍微加大压缩并给敏感层多分配 bit,再用压缩后的模型做下一轮估计,直到无法进一步压缩、(bit, expert removal) 分配不再变化。
所属事件:Dettmers 详解逐层敏感度探测与动态专家交换(2 条相关)→
「Infra」频道最新
- 微软 SC26 将揭秘 Maia 加速器:日服务数万亿 token 的数据流设计 — thoefler · 2026-11-12
- ClickHouse 收购 Xata 并发布 Managed Postgres,客户超 5000 家 — CShorten30 · 2026-11-12
- Ben Shapiro 公开推荐《The Nvidia Way》,作者直呼没想到 — firstadopter · 2026-11-12
- 2026 中期选举 41 项数据中心公投 40 项倒向反 AI 建设方 — Acceptable-Offer-518 · 2026-11-12
- KubeCon 前夕 Azure Day：AKS 单集群 65 节点跑 2.2 万个 Agent — davemccollough · 2026-11-12
- CoRL 会场同址开天然气论坛,主题直指 AI 数据中心供电 — carlosdponx · 2026-11-12