开发者在单张 5090 上打造本地版"ChatGPT 百宝箱",细节全是坑
valdev · reddit · 2026-09-18
Reddit 用户 valdev 分享其 LumaBrowser 项目——一个跑在单张 RTX 5090 上的"本地 Anthropic/ChatGPT 一体机",可在 LLM、图像、编辑器、视频模型间一键切换。作者详述了开发中踩过的深坑与自研方案:
- 为模型文件做 RAM 驻留(pinning)方案,绕开 Windows 没有 Linux 那样内置 ramdisk 的问题,把加载速度压到约 10 秒
- 热加载被 llama.cpp 读取速度卡脖子,于是自己维护了一个 patched 分支
- 进一步把上下文也 RAM pin,实现热重载不清上下文
- 基于 Electron 打造自动化平台:网络请求拦截(抓取无 API 网站的 JSON 报表数据)、聚合 Slack/邮件/网页通知并由 AI 每 10 分钟按上下文分组推送(ntfy 推送到手机)
- 加了 MCP server 扩展整套能力,给 selenium/playwright 加 LLM 兜底:选择器失效时用自然语言描述定位元素,并回传修正后的选择器
- 模块化/插件化架构,扩展之间还能互相扩展
这是一个信息密度很高的工程复盘,对做本地模型部署、浏览器自动化和 agent 工作流的人都有可借鉴的具体做法。
「编程与Agent」频道最新
- Codex 上线 Code Mode：用小段 JS 程序过滤 MCP 数据，省下上万 token — alex_frantic · 2026-09-18
- W&B 探索新功能:在训练曲线上钉住注释,标记每步改动 — yoavartzi · 2026-09-18
- Claude Code 重推 Projects:云端统一管理多个AI智能体 — The Verge AI · 2026-09-18
- Scale AI CEO 王以恒:Muse Agent 的生产力超出预期 — alexandr_wang · 2026-09-18
- 十年工程师求 Claude Code「harness」:自动压缩后上下文全丢 — Little_Entrance_1661 · 2026-09-18
- Included Health 用 LangGraph 打造联邦多 Agent 医疗导航,高风险识别超 99% — LangChain · 2026-09-18