Unsloth 让 Laya Decision 模型跑进 4GB 内存,CPU 也能本地推理
danielhanchen · x · 2026-09-28
UnslothAI 宣布其桌面端应用现在可以在仅 4GB RAM 的设备上本地运行 Laya Decision 模型,支持 CPU、Mac、Windows、Linux 和 GPU 等多种环境。用户可通过 Unsloth Desktop 以兼容 API 的方式直接 serve 该模型。Unsloth 是首个支持本地运行与训练模型的桌面应用,GitHub 已有约 7.7 万 star,支持 GGUF、MLX 等格式与多款模型。
「Infra」频道最新
- OriginTrail DKG V10.0.19 上线：AI Agent 读图更快更省 CPU — melnykowycz · 2026-09-29
- INT21 称两周造 20 个推理引擎,MiMo 解码达 1308 tokens/s — bingxu_ · 2026-09-29
- 用 Amazon Nova Act 做合成监控：告别脆弱 UI 选择器脚本 — AWS ML Blog · 2026-09-28
- NVIDIA 展示 Qwen 27B 模型输出速度达每秒 2529 tokens — IanAndrewsDC · 2026-09-28
- Textract 适配器跨账户生命周期管理：参数外置实现零停机换版 — AWS ML Blog · 2026-09-28
- 分析者：Muse 是 CPU 密集实现个例，不宜作代理估算 Agent 算力 — BenBajarin · 2026-09-28