Nex N2.5 Mini 4bit 跑上 M5 Max:133.6 tok/s,质量速度兼顾
DerTomsn · reddit · 2026-09-13
Nex N2.5 Mini 本周发布,作者用 MLX 4bit 量化版在 Apple M5 Max 上实测:推荐参数 temperature 0.7、topp 0.95、topk 40、reasoningeffort high 下达到 133.6 tok/s 的生成速度,prompt 处理也很快,显存占用合理,各项质量表现不错。作者计划用它驱动自己的 agent 并尝试写代码。量化模型与完整跑分数据均已在 Hugging Face 和 llm-bench.io 公开。
「Infra」频道最新
- 研究者为 SGLang 写 200+ 条属性约束，找出 10 个推理缺陷 — LingmingZhang · 2026-10-31
- 闭门夜话:AI 时代数据库与队列等经典基建更重要而非更次要 — graceisford · 2026-10-31
- Lux Capital 牵头闭门夜话:Cognition 与 Modal 谈 AI 基建与安全 — graceisford · 2026-10-31
- FastVideo 适配 DGX Spark：aarch64 + CUDA 13 无 wheel 也能装 — victormustar · 2026-10-31
- 客户要 P 核:Intel 把 18A 产能转往 Intel 3 扩产 Granite Rapids — zephyr_z9 · 2026-10-31
- Modal 推出 Sticky Sessions:无服务器容器也能保住会话状态 — graceisford · 2026-10-31