迭代敏感性探测:Dettmers 解释如何逐层逼近模型压缩崩溃边界
Tim_Dettmers · x · 2026-09-22
动态压缩最大难点是估计每层对压缩的敏感度:后层依赖前层,压缩越多敏感度越变,形成复杂组合问题。迭代敏感性探测的直觉是:模型越接近性能崩溃的"不稳定边缘",单层压缩时就越容易估计多层间交互。流程:从未压缩模型出发,测量各层敏感度,识别高敏感层,稍微加大压缩并给敏感层多分配 bit,再用压缩后的模型做下一轮估计,直到无法进一步压缩、(bit, expert removal) 分配不再变化。
所属事件:Dettmers 详解逐层敏感度探测与动态专家交换(2 条相关)→
「Infra」频道最新
- Unsloth 量化让 Qwen-Image-2.1 仅需 6GB 显存本地运行 — danielhanchen · 2026-09-23
- H Company 用 SkyPilot 训练 computer-use 模型,沙盒秒级冷启动 — skypilot_org · 2026-09-23
- MiniMax H3 上跑 M5 Ultra 实测：768p 视频约 2 分 22 秒生成 — bakawolf123 · 2026-09-22
- Cisco 预测：Agentic AI 将令企业流量十年增长 9 倍 — Beth_Kindig · 2026-09-22
- Cloudflare 全套餐支持 HTTP 缓存规则中的 Vary 头 — threepointone · 2026-09-22
- 训练时跳过故障阶段:1% 故障率下损失几乎不掉 — covenant_ai · 2026-09-22