8-29MB 的 Cactus Needle 3 端侧模型宣称追平 DeepSeek V4 Flash

HenryNdubuaku · hn · 2026-09-18

Cactus 团队在 HN 发布 Needle 3:专注自动化场景(工具调用与结构化 JSON 输出,不支持对话)的超小型模型,单套权重包含 2-20 层可独立部署的子网络(2500 万-1.21 亿参数,2-bit 量化),二进制文件仅 8-29MB。架构上用 Monarch Hadamard MLP 替代稠密 FFN,以 O(d√d) 参数实现全通道非线性混合。在树莓派 5 上解码最高 4k tokens/s、预填充 10k。Mobile Actions 基准上 20 层版得分 86.0,超过 LFM2.5 1.2B(82.4)、Qwen3.5 0.8B(76.0)和苹果端侧模型(57.6,均为 f16)。现已支持英法西德荷意波兰语等 7 种语言,并称窄任务上微调 4 层即可达到 DeepSeek V4 Flash 级性能。