Whittle 蒸馏模型走红 Reddit,27B-A3B 声称可在 8GB 显存笔记本跑
depressedclassical · reddit · 2026-09-22
Reddit 用户发现 Hugging Face 上的 logic65 专做小模型蒸馏，品牌名 Whittle。其基于 Qwen3.6-35B 的 27B-A3B MoE 量化版（GGUF）被认为可在 8GB 显存 + 24GB 内存的普通笔记本上运行，发帖人想用于聊天、编程与写作辅助，并询问量化质量与速度表现。另有 Qwen3.8 变体但对低端设备偏大。适合关注本地部署的用户自行实测。
「Infra」频道最新
- 爆料称 Meta 拟联手 Oracle,向云用户开放 Meta AI 平台 — testingcatalog · 2026-09-22
- 创业公司 Astorias 推出低价推理服务，Qwen 27B 输入低至 $0.1/百万 token — me_broke · 2026-09-22
- Osborne 称英国反建数据中心将输掉AI主权,民众抗议水电消耗 — nordicinst · 2026-09-22
- HPC 老兵长文讲透 KV Cache:从 prefill/decode 到 offload 何时出问题 — TheZachMueller · 2026-09-22
- 曝 DeepSeek 押注华为芯片训练新模型，梁文锋称「必须成」 — kimmonismus · 2026-09-22
- AliExpress 现改版 RTX 3080 20GB 笔记本显卡，跑 ComfyUI 引热议 — thatguyjames_uk · 2026-09-22