USC 和 Yale 提出 KronQ，实现 LLaMA-3-70B 两比特量化
burkov · x · 2026-07-24
USC 和 Yale 的研究者提出了 KronQ，一个用于大语言模型的后训练量化框架。
核心内容
- 目标是 LLaMA-3-70B 的 2-bit 仅权重量化
- 通过 Kronecker-factored Hessian 引入 梯度协方差 信息
- 作者称它在这一设置下达到了 SOTA
研究意义
- 现有方法在这个极低比特率场景里据称 难以收敛
- KronQ 试图让 LLM 压缩到更低 bit 时仍保持优化稳定性
帖子还附带了一个 AI tutor 阅读入口。
「研究」频道最新
- Skyfall GS 登场:用 Flux 提升 Gaussian Splatting 精修质量 — ducha_aiki · 2026-09-11
- 一万个智能体能否突破反向传播,找到更好的学习算法 — SeunghyunSEO7 · 2026-09-11
- Apodex 发布 TRACES 标准:用 423 个真实问题评测"发现型 AI" — Faheem_uh · 2026-09-11
- 科学没有标准答案:TRACES 用六维度评估 AI 过程而非结果 — Faheem_uh · 2026-09-11
- Apodex 推出 TRACES 基准：不打标准答案，专测 AI 探索未知的能力 — Faheem_uh · 2026-09-11
- Cognition SWE-2 用 KKT 对偶优化长度惩罚，一次 RL 推移 Pareto 曲线 — YouJiacheng · 2026-09-11