研究发现公开模型库中大量量化 LLM 文件出厂即不可用

Independent-Researcher · hf · 2026-10-31

独立研究者的论文系统检测了公开模型注册表中量化小模型文件,发现由于量化配方未校准,不少 artifact 上传时就根本无法运行。论文给出跨模型 15 项任务的通过率热力图(覆盖 codellama、deepseek-coder、granite-code、llama、mistral、qwen2.5-coder、starcoder2 等),并用「8 GB 以下未提供标签」「Suspect 标记」等方法标出可疑文件,部分量化文件 15 项任务通过数为 0。作者建议发布前进行筛查与量化校准。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →