DisposAI 开源:让本地模型互相当工具,8GB 显存跑通文生图转 3D
Agitated_Complex_628 · reddit · 2026-09-09
开发者发布了开源项目 DisposAI v0.1.0(Rust 编写、OpenAI 兼容接口、MIT/Apache-2.0),解决本地跑多个模型时各自抢占 VRAM、频繁 OOM 的老问题。
核心特性:
- 动态模型工具化:任何已加载的模型可以把其他模型当作工具调用,按需自动加载。demo 中一条消息让小尺寸 Gemma E2B 自主触发图像生成 → 图像编辑 → 3D 网格重建的跨后端链路,无需编排脚本;编排器自己检查模型清单并推算各模型的输入参数
- 共享 VRAM 仲裁器:所有后端(llama.cpp 文本/视觉、stable-diffusion.cpp 图像、TripoSR/SF3D 3D、Kokoro TTS、whisper.cpp 语音)共享显存调度,消费级硬件上可共存
- 硬件画像 + 预下载适配估算:下载前判断模型能否跑得动
全部在 RTX 4060 笔记本(8GB 显存)上开发测试;MoE 专家缓存与多设备池化在路线图中。视频后端已实现但因显存不足未验证,作者征集大显存用户测试反馈。仓库:github.com/adem-rguez/DisposAI
「编程与Agent」频道最新
- 开源 Aurora 网关用 Go 重写,自称比 LiteLLM 快 55 倍并修复 OpenCode 封锁 — entitybtw · 2026-09-09
- 人类靠“昨天 Amy 开的那个 issue”交流,agent 能听懂吗? — yoavgo · 2026-09-09
- 开源本地 prompt 优化器:GEPA 驱动 llama3.2 3B 分类准确率 39%→89% — MortisAndTen · 2026-09-09
- 开发者点赞 Amp 线程式 agent UI:比 Codex 更易追踪不杂乱 — carlosdponx · 2026-09-09
- Agent 时代「可读代码」重定义:关键变成上下文检索质量 — generativist · 2026-09-09
- Devin 入驻英伟达、GE、花旗、奔驰等巨头工程团队 — Sethwinterroth · 2026-09-09