开源 hostely:一个二进制搞定 Mac mini 自托管容器与本地 LLM
ayo_ham · x · 2026-09-06
开发者发布自用数月打磨的自托管工具 hostely:单个 C++ 二进制,专为 Mac mini 等 Apple Silicon 机器设计。
核心能力:
- 用 Apple 自家的 container runtime 跑 OCI 容器(不依赖 Docker)
- 通过 Metal 加速的 llama.cpp 在本地跑 GGUF 大模型
- 仪表盘实时显示统一内存余量,加载放不下的模型前直接拒绝启动——作者称现有工具要么忽略 GPU 要么忽略容器,没人做这件事
- 自带 HTTPS、域名、隧道,无需 ngrok 订阅
GitHub 仓库已开源(MIT 协议),含 quickstart 和冒烟测试。
所属事件:开源 hostely：单命令在 Mac mini 上自托管容器与本地 LLM(3 条相关)→
「Infra」频道最新
- Eric Hartford 开源 fork：为 RTX 3090/4090/5090 消费卡解锁 P2P 互连 — QuixiAI · 2026-09-06
- 开发者修复 DGX Spark 驱动：64GB 显存不再失踪，缺页性能提升 49 倍 — QuixiAI · 2026-09-06
- Ollama 云推出非高峰半价,DeepSeek-V4 系列错峰用量享 5 折 — ollama · 2026-09-06
- Ollama 云完整价目表曝光:从 $0.015 到 $15 每百万 token — paw_lean · 2026-09-06
- AWS Gilroy 算力园区动工，选址紧邻胡椒农场 — BenBajarin · 2026-09-06
- 自研 NVFP4 KV 缓存+YaRN：单卡 5090 跑通 55.5 万上下文 — Lumpy-Comedian-1027 · 2026-09-06