硬核玩家为单张 4090 定制推理引擎:解码提速近倍还公开全部验证门
Distinct-Pie2389 · reddit · 2026-11-18
作者基于 Strata→Basalt 谱系做了只针对自己一台机器(RTX 4090 24GB + i9-14900K,Arch Linux)的引擎 fork「Halocline」,跑 Qwen3.8-Flash-Next(Unsloth IQ4XS),主张「LLM 托管的未来是为自己的硬件定制引擎」。
主要改动与验证方法:
- 删掉跑不了的代码:DeepSeek-V4.1(102 文件)、多 GPU 路径、sm120 FP4 MoE 内核;把 Ada fork 从 Windows 移植到 Linux
- 加载 Qwen 自家 BF16 权重的 MTP draft 层(31 张量 4.9GiB)并扫描 draft window,最终取 8
- 每步改动过三重门:cuobjdump -sass 逐对象哈希(101/101 字节一致)、CPU 86 + GPU 121 测试、900/900 贪心 token 一致
- KV 格式用 KLD 对 BF16 定标:int8 的 KLD 0.0820 为基准,fp16 区间含零但长 prefill 减半,最终选 int8(131K prefill 6019 t/s)
与 Strata 0.2.10 同卡同量化对比:短 prompt 解码 148-182 vs 95-101 tok/s;36K needle 解码 123 vs 68 tok/s,prefill 6298 vs 2403 t/s。整体解码提速约 1.5-1.8 倍。
「Infra」频道最新
- 苹果多服务大面积宕机,员工爆料总部办公室也全部断网 — evilsocket · 2026-11-18
- Together AI 对谈:如何打造一个前沿的本地化编程模型 — togethercompute · 2026-11-18
- TensorScale 重建生成式模型 AI 基础栈,新官网上线并开放 5 个职位 — TerryTangYuan · 2026-11-18
- 前 Meta 工程师创立 ComputeDesk,融 4500 万美元解算力风险 — arnie_hacker · 2026-11-18
- 微软 Web IQ 全面开放:为 ChatGPT 等 agent 提供 web grounding — JordiRib1 · 2026-11-18
- 微软发布 Maia 300 与 Cobalt 200 等四款 Azure 定制芯片 — testingcatalog · 2026-11-18