让 65B 模型自己量化自己:Ripple 压缩后仅 30.3GB 可本地跑
Azaliamirh · x · 2026-11-17
RicursiveAI 黑客松上的一个实验:作者认为本地编码 agent 的关键在于模型能本地 serving,而量化的本质是「搜索问题」——决定哪些层量化、哪些层保留。于是让 Ripple 65B 模型自己作为 agent 来搜索自身的量化方案,最终产出一个 30.3GB 的量化版本,效果还不错,可在本地运行。
所属事件:Ripple-65B 黑客松:自量化让 60GB 模型瘦身近半可本地跑(2 条相关)→
「编程与Agent」频道最新
- 开源 agent-browser 发布:让 AI 智能体操作浏览器与桌面并自查成果 — evilrabbit_ · 2026-11-17
- Ripple-65B 首场黑客松:模型从零自建 IDE,补全延迟低于 80ms — Azaliamirh · 2026-11-17
- LM Studio 推出 Agent Remote Control,可跨设备远程运行本地 agent — MatthewBerman · 2026-11-17
- 老 GPU 工程师把 Qwen 3.8 27B 在 5090 笔记本跑出 500 tok/s — tebjan · 2026-11-17
- Ripple-65B 黑客松:自量化把 60GB 模型压到 30GB 而质量几乎不损 — Azaliamirh · 2026-11-17
- 把 Agent 工厂当基础设施:编排层的 7 项核心职责清单 — blaizedsouza · 2026-11-17