张量级分配提升 Qwen 3.5 4B 推理性能 16%
devildip · reddit · 2026-08-22
作者成功将张量级分配机制从 Gemma 系列扩展到 Qwen 系列，在 Qwen 3.5 4B 模型上取得了显著效果。
实验结果显示，在 IQ2XS 量化下，通过 QLAB 分配策略，推理性能从 46.875 提升至 54.688，相对提升 16.67%，而模型大小仅增加 0.412%。该方法基于类别语料构建 imatrix，测量损伤后在张量级别重新分配精度，不涉及后训练或权重更新。作者计划进一步扩展至更大模型（如 Qwen 2.5 72B）。
「模型」频道最新
- 爆料人称 Opus 5 或采用深度循环架构，方向仍存变数 — scaling01 · 2026-10-16
- GPT-6.1 审查 arXiv：6% 论文主定理有错，近两月降至 1.5% — nitarshan · 2026-10-16
- Nvidia 联手 Nolla 后训练 Nemotron 3.5 VL，皮肤科诊断称超越前沿 — LoganGrasby · 2026-10-16
- Gemini 4 Argon 登顶 ARC-AGI-3 达 97.5%，第二家破 95% — patience_cave · 2026-10-16
- 微软 MAI 自研 3T 参数基座模型亮相，多项 held-out 评测领先 — soldni · 2026-10-16
- Datadog 发布 Scout 1.0：基于 GLM-5.3 Flash 微调的 SRE 专用模型 — Tim_Dettmers · 2026-10-16