36M 参数开源工具让 LLM 本地「看」视频,CPU 即可跑
Safe-Escape197 · reddit · 2026-11-21
Reddit 用户发布 v1.0 开源项目 tiny-vision(Apache-2.0),让 LLM 能处理视频:本地运行、不上传数据,通过 MCP server 暴露 summarizevideo、describevideo、captionimage 三个工具,已在 Claude Desktop 和 Claude Code 测试,配合 LM Studio 本地模型可完全离线。
工作原理
- 按镜头切换点(硬切+缓慢漂移)选帧,而非固定间隔抽帧,时间戳落在真实剪切点,静态镜头只花一次 caption
- 每个镜头在开头、中间、结尾各生成描述,再聚类成场景
- 36M 参数:冻结的 DINOv2-small 作图像编码器 + 自训 14M 适配器和 caption 解码器(COCO 训练)
性能(Apple M5、COCO 测试集):caption 质量约为 florence-2-base 的 89%(CIDEr 1.196 vs 1.348),但模型小 6 倍、GPU 快 8 倍、CPU 快 75 倍(54ms/图 vs 4 秒)。
局限:暂不支持音频、不理解运动、COCO 风格 caption 意味着无 OCR/人名/计数。也提供纯命令行 caption.py 可管道接入任意 LLM。
「编程与Agent」频道最新
- 全流程只用一个 Claude 对话:做出媲美动画工作室的宝宝格斗短片 — socialwithaayan · 2026-11-21
- 开发者吐槽 Claude Code 最气人之处:一句「Not done」就收工 — jasonkneen · 2026-11-21
- 内置 agent 的 Windows Terminal 智能版成开发者日常主力 — dfinke · 2026-11-21
- 可验证即可一次生成:工程师分享拆解难题让 AI 一次写对的流程 — imdigitalashish · 2026-11-21
- 用 Claude 几分钟生成定制版 wandb 训练面板,还能分享给队友 — rishabh16_ · 2026-11-21
- 「Jev 只是分类器」:几分钟替代数月 ML 团队工作的工具被点破 — viksit · 2026-11-21