Chantless 项目:推理时按能力定位网络并打「能力掩码」分发

tokenbender · x · 2026-10-23

tokenbender 介绍其项目 Chantless(Chapter 1: Apprentice)背后的技术思路:在推理层面先归因并定位网络中负责特定能力的部分(通过环境或选定数据集沟通),再确定要维持的最低标准(如英文能力与工具调用)和应与基座模型持平的峰值性能;达标的区域保留 8bit 或更低精度,其余网络可压到 4bit/1.5bit 甚至剪枝为零。核心卖点是只需构建并分发 mask,权重本身不变,同一份权重可配任意多套 mask,且在 CPU 上也能完成。项目愿景是让用户与模型共同演化、随需塑造模型能力。