Laguna S 2.1 的 Q4_K_M 因保留 8 层 FP16 升到 96GB
BawbbySmith · reddit · 2026-07-29
一位 Reddit 用户发现，Laguna S 2.1 的 Q4KM GGUF 文件从 68GB 突然涨到了 96GB。
- 他的判断是，新版本可能把 8 层保留为 FP16，其余部分仍是 4-bit。
- 帖子主要是在问：为什么量化策略会变，以及这是否是在修复低量化带来的质量问题。
- 作者还提到，类似量化版本在更高上下文下会出现循环问题，包括 Unsloth 的版本。
「Infra」频道最新
- Bittensor 年度 2.5 亿美元发行量只占大厂 AI 支出的极小一部分 — bittingthembits · 2026-07-29
- 4张 RTX 6000 实测视频生成：3秒1080p耗时20分钟 — NewVeterinarian5384 · 2026-07-29
- Allen AI 地球观测平台测绘北美野火风险，并行提速 155 倍 — allen_ai · 2026-07-29
- Ai2 发布 OlmoEarth 平台：实现行星级地理空间推理 — allen_ai · 2026-07-29
- Databricks 称 AI agents 正在重塑事务库与分析库架构 — matei_zaharia · 2026-07-29
- 台积电日本工厂遭遇7.0级地震，市场恐慌致内存股下跌 — dejavucoder · 2026-07-29