EdgeRazor:实现 1.88 bit 极低精度的大模型混合蒸馏新框架
ttkciar · reddit · 2026-08-03
EdgeRazor 是一种针对大语言模型的轻量级框架，通过混合精度量化感知蒸馏，在极低内存下保持模型能力。
- 核心机制：采用熵引导的蒸馏过程，将教师模型的 logit 概率分布转化为学生模型的低比特/混合精度特征，无需保留原有的参数结构。
- 性能优势：比传统量化方法计算开销稍高，但远低于量化感知训练（QAT），且在 1.88 bit 极低参数精度下仍能维持良好的推理能力。
- 工程友好：由于不改变模型的内部表示结构，llama.cpp 等主流推理框架无需修改代码即可直接调用。
作者已开源代码，并在 Hugging Face 上传了基于 MobileLLM、Qwen3 等微小模型的实测版本。
「Infra」频道最新
- M1 Ultra 128GB 实测：补丁让本地 DeepSeek V4 提速至 16 tok/s — mil_phickelson · 2026-08-03
- Meta 隐秘高性能算子库 MSLK 曝光，Agent 自动生成 API 文档 — giffmana · 2026-08-03
- 苹果 512GB M3 Ultra 仍是 AI 算力孤品，AI 大神苦等 M5 Ultra — jamesdouma · 2026-08-03
- NanoGPT 训练速度创 74.6 秒新纪录，前缀 token 预测立功 — surmenok · 2026-08-03
- AI 公司盈利超预期 71%，GPU 与算力消耗证实非泡沫 — ivan_bezdomny · 2026-08-03
- 工程师提醒：部署模型应保持训练时的精度 — andrew_n_carr · 2026-08-03