22MB 视觉模型 Mirage 单次前向搞定检测/OCR/分割,手机 NPU 74ms
Henrie_the_dreamer · reddit · 2026-11-07
- Cactus Compute 发布 Mirage:仅 22MB(51.3M 参数)的端侧视觉语言模型,单次前向即可完成场景描述、目标检测、OCR、分割、空间关系分析与决策,支持英德法西意荷波 7 种语言。
- 在 Samsung Galaxy S26 上端到端实测:NPU 74ms、CPU 107ms。架构含 7.8M 图像编码器(HConvGLU,用固定 Hadamard 变换混合通道)、40.8M 语言解码器(Simple Attention + Hadamard MLP)和 2.6M 的 OCR/空间头,检测与分割共享图像特征。
- 核心论点:小模型与其花容量生成散文式描述,不如把结构做进问题——空间头、专用文本读取器和短引用把名称连到区域,输出结构化记录加紧凑推理轨迹。
- 关键发现:把 Mirage 的输出喂给纯文本 LLM 可能在不微调的情况下赋予其 VLM 能力。Qwen3-0.6B 在 256 道 VQAv2 问题上从仅靠问题的 9.3 分升到配合 Mirage 记录的 31.3 分(共识信用/100);Qwen3-4B 从 33.4 升至 37.3。但结果并不普适:Nemotron 3 Nano 4B 因无法稳定输出 JSON 格式反而从 33.1 崩到 5.8;也有感知失败案例(滑板照片漏检导致大模型被误导)。团队计划下一步用 Mirage 记录微调 reader 模型。
所属事件:22MB 端侧视觉模型 Mirage 单次前向完成检测 OCR 分割(2 条相关)→
「具身」频道最新
- ROS 开源机器人周报:ROSCon Italy 成功举办,多条新项目亮相 — kscottz · 2026-11-07
- Dream-1 零样本操控装在扫地机器人上的 SO-101 机械臂 — scott_e_reed · 2026-11-07
- Eka Robotics 将亮相 CoRL 并开放技术团队招聘 — pulkitology · 2026-11-07
- XM4D 论文：用可验证几何优化从单目视频做 4D 重建 — kwangmoo_yi · 2026-11-07
- NVIDIA Lyra 2.0:一张图生成可探索的 3D 世界,登陆 SIGGRAPH Asia — NVIDIAAI · 2026-11-07
- Cartwheel Swing Choreo 模型:一句话让机器人做任意动作姿态 — andrew_n_carr · 2026-11-07