EdgeRazor:实现 1.88 bit 极低精度的大模型混合蒸馏新框架
ttkciar · reddit · 2026-08-03
EdgeRazor 是一种针对大语言模型的轻量级框架，通过混合精度量化感知蒸馏，在极低内存下保持模型能力。
- 核心机制：采用熵引导的蒸馏过程，将教师模型的 logit 概率分布转化为学生模型的低比特/混合精度特征，无需保留原有的参数结构。
- 性能优势：比传统量化方法计算开销稍高，但远低于量化感知训练（QAT），且在 1.88 bit 极低参数精度下仍能维持良好的推理能力。
- 工程友好：由于不改变模型的内部表示结构，llama.cpp 等主流推理框架无需修改代码即可直接调用。
作者已开源代码，并在 Hugging Face 上传了基于 MobileLLM、Qwen3 等微小模型的实测版本。
「Infra」频道最新
- 作者实测 2×GB10 本地调优 GLM-5.3-Flash：解码速度提升近 20% — EAccelerate_42 · 2026-10-16
- 开发者用3台DGX Spark组本地集群跑GLM-5.3-Flash,配代理均衡日生175万token — Teknium · 2026-10-16
- Optuna 作者秋叶哉：花3亿日元调2个超参的时代，BO/HPO 还有何用武之地 — Stefania_druga · 2026-10-16
- Amazon 发布生产级 RAG 缓存方案：逐请求校验证据复用，零无效命中 — _reachsumit · 2026-10-16
- LinkedIn 推出 TransX:推荐系统序列转导框架,CTR 提升 6.02% — _reachsumit · 2026-10-16
- llama.cpp 新 PR 优化 AVX2 分块累加器,纯 CPU 推理再提速 — jacek2023 · 2026-10-16