SenseNova 发布 Loop-9B:24 层循环复用实现 56 层执行深度,支持 256K 上下文
jacek2023 · reddit · 2026-10-30
SenseNova 在 Hugging Face 发布多模态模型 SenseNova-Loop-9B-Preview,面向长上下文与智能体工作流,可处理文本、图像,覆盖文档理解、编码与工具调用。
架构亮点:
- 循环解码器:24 层 decoder 块以共享权重连续执行两次,用 32 个独立层产出 56 层的执行深度,不增加重复块参数
- 双流 mHC(流形约束超连接):循环段内用可学习映射在两条残差流之间路由与融合信息
- 混合注意力:按四层一组的模式交替使用线性注意力与全注意力
- 训练配置:多模态 + 智能体任务轨迹的长序列训练,最长序列达 262,144 tokens
这是一种用「层复用」换执行深度的参数效率路线,官方建议按其文档化的部署环境与配置使用以获得最佳性能。
「模型」频道最新
- 小米开源 0.8B 文档理解模型 Xiaomi-OCR-0,小模型文档解析登顶 — gnukeith · 2026-10-30
- OpenAI 订阅体验短板:额度重置机制拖累整体利用率 — teortaxesTex · 2026-10-30
- KOL 实测订阅利用率:Claude Max 达 80-90%,OpenAI 仅约 50% — teortaxesTex · 2026-10-30
- Unsloth 打脸第三方量化成绩:DeepSeek-V4.1-Flash 1bit AIME25 实为 91.88% 而非 100% — danielhanchen · 2026-10-30
- SAM3 可离线跑了:ONNX 导出支持 CUDA 与 CoreML,M5 上文本提示仅 0.37 秒 — CSProfKGD · 2026-10-30
- 开发者观察:A100 与 B300 跑同一 posttrained 模型输出竟不相同 — Kyrannio · 2026-10-30