RTX 3060 实测：ByteShape 超低比特量化远逊 GSQ
zyxciss · reddit · 2026-09-23
作者在 RTX 3060 12GB + 16GB 单通道 DDR4（CachyOS、llama.cpp）上对比了 Qwen 3.8 27B 的两种超低比特量化：
- ISTA-DASLab GSQ-RCO-IQ3-XXS（10.4GB，约 2.5 BPW，开 MTP）：满上下文约 29 tok/s，低上下文 34-40 tok/s；
- ByteShape IQ3-XXS：小约 500MB，宣传称基于 KL 散度的 BF16 相似度极高，纸面很有吸引力。
实测结果却差距明显：GSQ 一次生成（<55k token）完成 3D 体素立体图任务，ByteShape 花了约三次尝试、超 98k token 仍未完成；网页开发表现同样不如宣传。作者提醒低比特量化的纸面相似度指标不能代表真实任务表现，并征求适合 RTX 3060 的新模型建议。
「Infra」频道最新
- 微软 SC26 将揭秘 Maia 加速器:日服务数万亿 token 的数据流设计 — thoefler · 2026-11-12
- ClickHouse 收购 Xata 并发布 Managed Postgres,客户超 5000 家 — CShorten30 · 2026-11-12
- 2026 中期选举 41 项数据中心公投 40 项倒向反 AI 建设方 — Acceptable-Offer-518 · 2026-11-12
- KubeCon 前夕 Azure Day：AKS 单集群 65 节点跑 2.2 万个 Agent — davemccollough · 2026-11-12
- CoRL 会场同址开天然气论坛,主题直指 AI 数据中心供电 — carlosdponx · 2026-11-12
- a16z 播客：Mike Volpi 从 Cisco 70+ 并购经验谈 AI 基建周期 — a16z · 2026-11-12