LlamaForge:为 llama.cpp 打造浏览器控制面板,本地 Agent 引用必须过代码核验

Sleepybear2611 · reddit · 2026-10-14

作者发布 LlamaForge,一个免费 MIT 协议的 llama.cpp 浏览器控制面板——不是 fork,而是直接驱动上游 llama-server,新模型当天即可从面板更新。几乎全部代码由 Claude Code (Opus) 编写,作者负责决策和自己硬件上测试。

核心功能

加载模型前按本机实测尺寸等比展示模型在各 GPU 上的落位,放不下会明确提示。
支持同时运行多个模型,主模型自动放到装得下的最快 GPU。
v0.16 新增 Embers:小型本地 Agent,夜间阅读指定资料并写简报,每条论断必须逐字引用来源,由普通代码(非模型)对照保存的快照核验引用,核验不过即丢弃。
含语音标签页,视频中配音由本地 Qwen3-TTS 生成。

Claude Code 使用方法(可直接借鉴)

先写 spec 再拆任务计划,每个任务用全新 subagent 执行,随后分别跑 spec 合规审查与代码质量审查;上次功能的最终审查就抓出了多个必须修复的 bug。
依赖 llama.cpp 特定行为的特性,先用一次性脚本对沙箱服务器探测验证假设(如跨 GPU 层数变化保留会话缓存),避免在未验证假设上浪费工时。
后端仅 Python 标准库、前端原生 JS、无构建步骤——刻意约束代码库规模,便于人和模型推理。
维护一份记录历史踩坑的 CLAUDE.md,例如浏览器面板对 confirm() 静默返回 cancel,面板因此改用自定义对话框并加测试防止回退。
教训:Claude 曾花一小时追查其实是自己测试脚本伪造早期回答导致的"bug"——应先验证测试工具再验证代码。

支持 Windows/Linux/macOS 安装脚本,作者环境为 NVIDIA 5080 + 5060 Ti。

「编程与Agent」频道最新