搭本地 Agent 系统先定架构再选模型:Linux+Tailscale+llama.cpp 全栈指南
max_paperclips · x · 2026-09-17
一条面向刚入门 agentic 系统的长推,核心观点是:运行环境/编排决定你能不能把流程跑通,模型只决定流程有多聪明,几乎所有人都把顺序搞反了。
推荐的跨设备基础设施(笔记本、多台桌面节点、手机):
- Linux,不可妥协:所有推理引擎都最先适配 Linux,agent 依赖 shell,下述工具都默认它。WSL 能让你到门口,真正的安装才能让你进门。
- Tailscale 组网:把笔记本、台式机、手机、租来的节点全部放进一个私有 mesh 网络。收益是模型在某一台机器上对外服务,所有设备随处可达,无需端口转发或公网 IP。
- 引擎选择:本地起步用 llama.cpp 作为个人推理引擎;需要多 GPU 或多机时切换到 vLLM;张量并行等进阶配置视规模而定。
「编程与Agent」频道最新
- 数据分级即路由：Agent 时代按标签决定数据能喂哪个模型 — blaizedsouza · 2026-09-17
- 当 RAG 检索到投毒文档,Agent 会照做吗?团队将其做成可复用安全测试 — Tophant_ · 2026-09-17
- Agent 替员工「翻译」需求而非填表单:广播媒体客户的自动化实践与两难 — NumbersProtocol · 2026-09-17
- 开发者自造 GitHub Radar:一个跨仓库跨组织的追踪 UI — dSebastien · 2026-09-17
- 99 行 C++ 写出物理光线追踪器 smallpt,含反射折射软阴影 — blaizedsouza · 2026-09-17
- 非工程师一个上午搭好视频剪辑流水线:Dify + Gemini + Agent 组合实战 — Individual_Reality_6 · 2026-09-17