4 张消费级 GPU 撑起全本地 AI 伴侣:语音、记忆、3D 头像全自建
Fabulous_Fact_606 · reddit · 2026-11-17
Reddit 用户公开了自己的全栈本地 AI 助手 IVY 的完整架构,横跨家用 PC(5080 + 5060 Ti)和一台双 3090 服务器,另用 VPS 托管网页聊天。
核心设计
- 大脑:本地跑 Qwen3.8-27B(Unsloth 量化)由 llama-swap 调度,云端备 DeepSeek 与 Claude 系列;引擎是一个 bash 脚本工具循环,Node 网关连接网页端与语音界面
- 记忆:NVIDIA cuVS 的 CAGRA GPU 向量索引 + SQLite 存储,约 19.87 万条事实、其中 7.33 万条在活跃索引;Qwen3-Embedding-8B 做嵌入、Qwen3-Reranker-4B 做重排
- 语音:Breeze TTS(int4)、Qwen3-ASR 听、NVIDIA TitaNet 做说话人识别
- 形象:基于 Ditto 的语音驱动面部动作模型 + 约 33.8 万个高斯的 3D Gaussian Splatting 头像,每帧用 U-Net 重绘风格后以 H.264 推流
- 另按需加载图像、音乐、音效、视频等多个创意模型
「编程与Agent」频道最新
- LangChain 明日旧金山办 Managed Deep Agents 实战工作坊 — LangChain · 2026-11-18
- Vite+ 1.7.0 发布:用 Rust 版 TS 编译器 tsrs 做类型检查 — cnakazawa · 2026-11-18
- Higgsfield 拍 AI 电影:最难的是让它不像 AI 做的 — CurieuxExplorer · 2026-11-18
- 项目管理三角失效:AI agent时代核心变成定义「好」 — lak_luster · 2026-11-18
- 两度主导团队 AI 转型后总结:Agent 工程的下一级靠亲手交付找出 — rseroter · 2026-11-18
- GitHub Next 工程师分享思辨设计方法论:低成本快速做原型 — JayAlammar · 2026-11-18