开源工具 llmman 一条命令让 Claude Code 等agent跑任意本地模型
weskambale · x · 2026-10-30
llmman 是一个新开源工具，目标是“让任何 agent 跑在任何模型上”：
- llmman launch claude --model qwen3.8 会自动下载匹配 GPU 的 llama.cpp、起服务、加载模型，并把 Claude Code 指向它；Codex、OpenCode 等十多个 agent 同样支持。
- --provider 可把同一个 agent 切到 OpenRouter、Groq、Anthropic 等托管商，密钥按请求传递、不写入 agent 配置。
- llmman serve 在一个端口同时兼容 Ollama、OpenAI、Anthropic 三种路由；GGUF 走 llama.cpp，safetensors 走 vllm 或 mlx-lm。
- 模型以 OCI 镜像形式从 Docker Hub、Hugging Face 或自建 registry 拉取，可用 cosign 签名并拒绝未签名拉取；还可配置多台机器聚合为一个端点，请求自动路由到已加载模型或资源最充裕的机器。
「编程与Agent」频道最新
- Berkeley 研究者发布 Exo 架构:Agent 运行时安全自改进,成本降 31-62% — arena · 2026-10-30
- 独立开发者用廉价决策模型重排时间线,做出可操控的 X/IG 信息流 — sdand · 2026-10-30
- 朋友的 AI 应用上线有用户，他都不知道托管在哪 — gabe_ragland · 2026-10-30
- 新研究追问:多智能体团队为何总跑不赢单个 Agent? — JoshPurtell · 2026-10-30
- Superconductor 发布：让团队与 Claude/Codex 等 agent 同处一个多人会话 — sergeykarayev · 2026-10-30
- YC F26 公司发布 Hue：给 Agent 一套环境模拟器用于测试 — ycombinator · 2026-10-30