36M 参数开源工具让 LLM 本地「看」视频,CPU 即可跑

Safe-Escape197 · reddit · 2026-11-21

Reddit 用户发布 v1.0 开源项目 tiny-vision(Apache-2.0),让 LLM 能处理视频:本地运行、不上传数据,通过 MCP server 暴露 summarizevideo、describevideo、captionimage 三个工具,已在 Claude Desktop 和 Claude Code 测试,配合 LM Studio 本地模型可完全离线。

工作原理

性能(Apple M5、COCO 测试集):caption 质量约为 florence-2-base 的 89%(CIDEr 1.196 vs 1.348),但模型小 6 倍、GPU 快 8 倍、CPU 快 75 倍(54ms/图 vs 4 秒)。

局限:暂不支持音频、不理解运动、COCO 风格 caption 意味着无 OCR/人名/计数。也提供纯命令行 caption.py 可管道接入任意 LLM。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →