2026 年 11 月本地可跑的最佳去审查小模型有哪些

SignatureMoney6648 · reddit · 2026-11-03

发帖者偏好本地推理使用 abliterated（去审查）模型以避免拒答，目前在用 Huihui-ai 的 Qwen3.8-27B-abliterated。他想知道有没有更好的升级选择，前提是没有多卡数据中心，最大可接受 Qwen3.8-Flash-Next 尺寸且只能 2-3bit 量化。核心疑问是「2-3bit 的大 MoE」与「更高量化的稠密小模型」哪个更划算，以及激进量化叠加 abliteration 是否会明显损伤质量、速度与稳定性，欢迎附上模型、量化、硬件与 tokens/sec 数据。