USC 和 Yale 提出 KronQ，实现 LLaMA-3-70B 两比特量化
burkov · x · 2026-07-24
USC 和 Yale 的研究者提出了 KronQ，一个用于大语言模型的后训练量化框架。
核心内容
- 目标是 LLaMA-3-70B 的 2-bit 仅权重量化
- 通过 Kronecker-factored Hessian 引入 梯度协方差 信息
- 作者称它在这一设置下达到了 SOTA
研究意义
- 现有方法在这个极低比特率场景里据称 难以收敛
- KronQ 试图让 LLM 压缩到更低 bit 时仍保持优化稳定性
帖子还附带了一个 AI tutor 阅读入口。
「研究」频道最新
- RSNA 2026 深度学习实验室回归:芝加哥四天八节动手 AI 课 — PRouzrokh · 2026-10-27
- 新论文:数学数据放训练前段还是末段,取决于学习率调度 — alifcoder · 2026-10-27
- 健康领域评测研究:题目质量与多样性比数量更重要 — keunwoochoi · 2026-10-27
- 七项任务实测:开源模型开高推理档未必更好 — keunwoochoi · 2026-10-27
- 全同态加密 GPT-2 速通赛开跑:现纪录 3.031 秒/token — tensorqt · 2026-10-27
- 医疗评测：Kimi K3 平 GPT-6，但疑难病例开源落后 17 个百分点 — keunwoochoi · 2026-10-27