hostely 开源上线:C++20 编写,统一内存可视化,M4 实测 32GB 机型
ayo_ham · x · 2026-09-06
hostely 仓库正式公开:C++20 编写,MIT 协议,cmake 构建,README 含 quickstart 与冒烟测试,作者特别征集小内存 M1/M2 用户的反馈。
GitHub 页面展示了核心卖点——诚实的统一内存上报:hostely status 会列出总内存(32GB)、当前占用,并计算「模型可用余量」(如 11.7GB = 空闲 + 非活跃 − 2GiB 安全余量),同时给出 Metal 推荐上限(21.3GB),在加载放不下的模型前直接阻止。工具整合 Apple container runtime 跑 OCI 容器与 Metal 加速 llama.cpp 服务 GGUF 模型,并提供 HTTPS、DNS 与隧道,无需 Docker 和 ngrok。示例中 1.1B 的 TinyLlama Q4KM 峰值内存仅约 980MB。
所属事件:开源 hostely：单命令在 Mac mini 上自托管容器与本地 LLM(3 条相关)→
「编程与Agent」频道最新
- 全流程在手机上完成：Termux 里用 AI 规划、编写并打包出 APK — Digital_Otorongo · 2026-09-06
- 实测：Astra 能执行数小时长任务并迭代计划，不跑偏不偷懒 — ivan_bezdomny · 2026-09-06
- 别凭感觉选编码模型：用 A/B/C 重构实测一锤定音 — robleclerc · 2026-09-06
- 62k star 的 Orca：在 Mac Mini 上编排并行编码 agent 舰队 — kieranklaassen · 2026-09-06
- 8 个月 883 次提交造 LLM Agent 框架,作者过度工程后弃坑开源 — dancingwithlies · 2026-09-06
- 开发者用 GPT 6 Astra 一次成功改出 UEVR 双相机立体渲染 fork — pvncher · 2026-09-06