USC 和 Yale 提出 KronQ，实现 LLaMA-3-70B 两比特量化
burkov · x · 2026-07-24
USC 和 Yale 的研究者提出了 KronQ，一个用于大语言模型的后训练量化框架。
核心内容
- 目标是 LLaMA-3-70B 的 2-bit 仅权重量化
- 通过 Kronecker-factored Hessian 引入 梯度协方差 信息
- 作者称它在这一设置下达到了 SOTA
研究意义
- 现有方法在这个极低比特率场景里据称 难以收敛
- KronQ 试图让 LLM 压缩到更低 bit 时仍保持优化稳定性
帖子还附带了一个 AI tutor 阅读入口。
「研究」频道最新
- VTAP Gripper 试图补上夹爪到灵巧手的空缺 — YunzhuLiYZ · 2026-07-24
- AJPS 论文发现 8 项联合实验存在测量误差并给出校正法 — RobbWiller · 2026-07-24
- Composite-Bench 发布可验证电脑使用评测，GLM-5.2 领先 Kimi K3 32 分 — davidtsong · 2026-07-24
- Arsenal 招聘研究工程师做足球分析 AI 模型 — Vjeux · 2026-07-24
- GEPA 将多个优化器组合成元优化流水线 — Thrumpwart · 2026-07-24
- NeurIPS 先写 meta review 再 rebuttal 的流程遭质疑 — xwang_lk · 2026-07-24