9 月本地模型盘点：27B 塞进 5.9GB、手机级 35B 等数十款发布
vramkickedin · reddit · 2026-10-02
Reddit 用户汇总了 2026 年 9 月可能错过的本地/开源 AI 发布，要点包括：
- 极致压缩：Ternary-Bonsai-2-27B 用三值量化把 27B 推理模型压进 5.9GB 文件；OrcaSAQ2 27B 将高保真推理装进 12.3GB，另有 15.7GB 的无审查版；Edge0-35B-A3B 宣称可在 3GiB 内存内运行的手机级 LLM。
- 智能体方向：小米 MiMo-V2.6-Pro-RL 主打跨数据自我改进；Nex-N2.5-Pro/mini 强化编码与计算机操作能力，mini 可跑带视觉反馈的长任务；Apodex-1.1-mini 处理文件与数据的 agent 任务。
- 其他亮点：Jev-Omni 支持文本/图像/音频/视频联合决策；OUI-1 用扩散模型约一秒生成 UI 界面；Google TimesFM-3.0 时间序列预测模型登顶基准；Qwen-2.5-1B-RLCD 在 Apple Silicon 上结构化数据提取提速 7 倍；llama.cpp 有针对双 AMD 7900 XTX 的优化构建。
整体展示了开源社区在量化、小型化和 agent 化上的快速进展。
「Infra」频道最新
- 180B 模型塞进单台 DGX Spark:2.39-bit 量化仅损失 4.5% — TheZachMueller · 2026-10-02
- 开源本地 AI 数字人应用：LM Studio 加 Chatterbox 克隆语音 — TheRedHairedHero · 2026-10-02
- Quail 团队用 roofline 模型估算 AI-SQL 延迟:5k 条评论过滤下限仅 6.6 秒 — sh_reya · 2026-10-02
- Modal Runtime 大会上 Einar 当场启动百万个 sandbox — graceisford · 2026-10-02
- 投机解码框架 Uno 获推理厂商采用:28k 长上下文提速至 DFlash 两倍 — yuntiandeng · 2026-10-02
- 用 CPU 生成 15 秒视频：卡在采样器三天，进度 0% — Baddog1965 · 2026-10-02