开发者开源推理优化 skill 自称至少赚了 10 万美元

Kyrannio · x · 2026-11-17

开发者 @0xSero 开源了 Sybil Solutions 的 inference-optimisation skill(MIT 协议),自称靠它至少赚了 10 万美元,并喊出「开源必须赢」。该 skill 是一个 agent skill,用「先找天花板、一次只改一项、交错控制变量、全上下文稳定性门控」的方法在任何硬件、任何量化方案上爬坡本地 LLM 推理速度。配图给出的实测数据:256K prefill 提升 2.1×(297→628 tok/s,Arc B390 iGPU);256K KV cache 提升 4×(264K→1.05M token,46 GiB 上限);笔记本 iGPU 单用户解码 53 tok/s、4 用户 103 tok/s;冷启动 113s→43s、TTFT 130ms。另有 Arc Pro B70 达 91.2 tok/s(对比 llama.cpp 25.0 为 3.6×)、RTX 3090 配合 MTP 最高 358 tok/s、4×H200 高负载下 229 tok/s。项目地址:github.com/sybil-solutions/inference-optimisation-skill

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →