开发者开源推理优化 skill 自称至少赚了 10 万美元
Kyrannio · x · 2026-11-17
开发者 @0xSero 开源了 Sybil Solutions 的 inference-optimisation skill(MIT 协议),自称靠它至少赚了 10 万美元,并喊出「开源必须赢」。该 skill 是一个 agent skill,用「先找天花板、一次只改一项、交错控制变量、全上下文稳定性门控」的方法在任何硬件、任何量化方案上爬坡本地 LLM 推理速度。配图给出的实测数据:256K prefill 提升 2.1×(297→628 tok/s,Arc B390 iGPU);256K KV cache 提升 4×(264K→1.05M token,46 GiB 上限);笔记本 iGPU 单用户解码 53 tok/s、4 用户 103 tok/s;冷启动 113s→43s、TTFT 130ms。另有 Arc Pro B70 达 91.2 tok/s(对比 llama.cpp 25.0 为 3.6×)、RTX 3090 配合 MTP 最高 358 tok/s、4×H200 高负载下 229 tok/s。项目地址:github.com/sybil-solutions/inference-optimisation-skill
「编程与Agent」频道最新
- Scott Hanselman 开源 sandbox-mcp:给 AI Agent 一台用完即弃的真 Windows 机 — unixterminal · 2026-11-17
- 开源 ProceduralTerrains:浏览器里 GPU 生成无限地形与星球 — anselm · 2026-11-17
- Zed 创始人吐槽 Agent Skills:慢到没法每次改动都跑 — zeeg · 2026-11-17
- 开源 Hermes Agent 个人助理配置:主模型降成本,杂事全钉低价模型 — alexcovo_eth · 2026-11-17
- CUDA 细粒度同步指南:用数据信号替代 membar 提速短内核链 — simran_s_arora · 2026-11-17
- 为何选 Lean?作者:生态势头最强,agent 写起来也不差 — hargup13 · 2026-11-17