unsloth 量化精度提升是在 256K 上下文测的，换 GGUF 前先重估预算
petrusenko_max · x · 2026-11-14
有人指出 unsloth 宣称的 5-10% 量化精度提升是在 27B 模型、256K 上下文下测得的；其自家数据显示 GSQ-RCO 在 96K 上下文下表现更好。如果你在 17GB 内存的机器上跑本地 agent，换 GGUF 量化版本前应先重新评估自己的上下文预算。
「Infra」频道最新
- Fractile 创始人做客 20VC：芯片层创业与 AI 算力扩建将持续扩张 — Tom_Westgarth15 · 2026-11-14
- 本地推理玩家看多新款 devkit:预言两年后最佳本地 AI 显卡 — gnukeith · 2026-11-14
- 在 16GB RX 9070 XT 上跑通 MiniMax H3，作者开源完整配置 — NigaTroubles · 2026-11-14
- 美联航 CEO：Starlink 机上 Wi-Fi 是公司百年最大竞争优势 — Aiden_Tech_Ai · 2026-11-14
- Cloudflare 开源 Kitesurf：不依赖 Chromium 的 agent 专用无头浏览器 — alexcovo_eth · 2026-11-14
- xAI 数据中心建设周期砍半，Memphis 园区一年内算力拟增至 6 倍 — elonmusk · 2026-11-14