Halocline 引擎跑 Qwen-Flash-Next 达 148-182 tok/s,KLD 仅 0.082
Distinct-Pie2389 · reddit · 2026-11-18
开发者发布 Halocline 推理引擎(单张 RTX 4090,SM89 架构)对 Qwen-Flash-Next UD-IQ4XS v3.1 量化的实测数据:暖机解码 148-182 tok/s,是同类引擎 Strata 0.2.10 的 1.6-1.8 倍。
质量方面,int8 KV 缓存下相对 BF16 的困惑度 3.2323、mean KLD 0.08195、top-1 命中 90.45%;fp16 与 int8 的 paired dKLD 差异仅 +0.00035,几乎无差。长上下文表现:36K needle 测试解码/预填充 123/6298 tok/s(对 Strata 1.8x/2.6x),137K needle 为 121/5664 tok/s,262K 上下文支持。
「Infra」频道最新
- CoreWeave 债务压顶:至 2027 年底需还本息 190.5 亿美元 — SumitGup · 2026-11-18
- Sarvam token 工厂 vs OpenRouter:聚合器与垂直整合的本质差异 — itsOmSarraf_ · 2026-11-18
- 4 张 AMD MI355X 跑出 1129 tokens/秒,DeepSeek 推理创纪录 — Scobleizer · 2026-11-18
- x402 开放四个工作组:域名发现、身份、税务与银行卡受理 — kleffew94 · 2026-11-18
- Chutes 联手阿里云上线 GLM-5.3 与 DeepSeek V4.1,限时 65 折 — markjeffrey · 2026-11-18
- 美新规冻结 4.8 亿美元贷款,字节马来西亚购买英伟达 GPU 计划受阻 — rohanpaul_ai · 2026-11-18