新量化格式 Gyro 被质疑是闭源版 EXL3:无公开数据证明更优
nasone32 · reddit · 2026-10-24
- Reddit 用户拆解了近期在多个推理引擎(尤其 Strata)中快速走红的 Gyro 量化格式,对比后认为它本质上是 EXL3 的另一变体:两者同属 QTIP/Trellis 编码量化家族,都使用 Hadamard 旋转。
- 差异细节:Gyro 的 Trellis 状态为 15 bits(EXL3 为 16),编码单元为 128 权重块(EXL3 标准路径为 256 权重 tile),码本用含 2048 个二维点的显式 LUT 加状态哈希重建,而 EXL3 是过程式生成;打包格式也各自独立,互不兼容。
- 作者指出没有找到 Gyro 在解码速度或 perplexity/KLD/top-1% 上优于 EXL3 的公开证据,批评其靠营销包装("Agention Precision Rotor")走红却闭源配方,只会加剧本地量化社区碎片化。
「Infra」频道最新
- GPU 编程 365 天打卡第 293 天:从 vLLM 转战 SGLang 与 MIT 课程 — NandoDF · 2026-10-24
- 九章 4.0 号称 25 微秒完成超算 10^42 年的算题,但任务无实用价值 — AryHHAry · 2026-10-24
- 研究实测:花哨 Agent 框架贵 3 倍但通过率几乎不变 — The Decoder · 2026-10-24
- KServe 冷启动从 134 秒压到 9 秒,warmctl 实战优化记录 — kbesplv · 2026-10-24
- M3 Max 36GB 五引擎推理实测:Kapitsa 密集 41 tok/s 居首 — Hyungsun · 2026-10-24
- Ramjet 替换 nginx 使 domyn swarm 多 agent 会话提速最高 61% — DoggoProfessor959 · 2026-10-24