任务感知量化 TAK:27B 模型以 15% 体积达到 BF16 99% 推理性能
devildip · reddit · 2026-09-08
开发者 ByteOtter 发布任务感知量化管线 TAK(Task Aware Knapsack),纯用任务语料 imatrix + 张量级精度分配(无剪枝/微调/合并),在推理基准上取得显著效果:
- Qwen3.8-27B:82.81%,vs 同字节 Unsloth UD IQ2S 77.34%(+5.47),BF16 为 83.59%,即 15% 体积保住 99% 性能
- Qwen3.5-4B:73.44% vs 61.72%(+11.72)
- Gemma 4 E4B:69.53% vs 55.47%(+14.06)
- Gemma 3 4B QAT:54.69% vs 35.16%(+19.53)
TAK 融合 TASA 与 TAQ:先从任务特定语料构建 imatrix,再在字节预算内做张量级晋升/降级分配,产出面向任务的专用量化,全部在 held-out 数据集上测试,已覆盖 dense、QAT 与 MoE 架构。模型发布在 Hugging Face,下一步扩展到编码与数学领域。
「研究」频道最新
- 斯坦福数据中心化 AI 研讨会开放报名,海报截止延期 — jure · 2026-10-26
- 「氛围验证」研究:近 60% 的形式化证明证明的不是作者本意 — basedjensen · 2026-10-26
- 浏览器助手 Ito 读懂浏览意图,自动把标签页编排成 Flows — andrewkuznet · 2026-10-26
- 康奈尔研究称大脑按线性序列处理语言,挑战乔姆斯基层级语法;印度语言成反例讨论点 — anirbanbandyo · 2026-10-26
- Hi3D V1.0 开源发布:训练资产翻四倍,切片成功率 90% — kimmonismus · 2026-10-26
- Ortet 首次健康评测:34 个开源模型跑 50 项任务,综合排名不够用 — elmanmansimov · 2026-10-26