让 65B 模型自己量化自己:Ripple 压缩后仅 30.3GB 可本地跑

Azaliamirh · x · 2026-11-17

RicursiveAI 黑客松上的一个实验:作者认为本地编码 agent 的关键在于模型能本地 serving,而量化的本质是「搜索问题」——决定哪些层量化、哪些层保留。于是让 Ripple 65B 模型自己作为 agent 来搜索自身的量化方案,最终产出一个 30.3GB 的量化版本,效果还不错,可在本地运行。

所属事件:Ripple-65B 黑客松:自量化让 60GB 模型瘦身近半可本地跑(2 条相关)→

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →