微调 Qwen3-VL 8B 解读镜头语言,准确率 69% 远超 Gemini 与 Opus
ravisparikh · x · 2026-11-20
开发者 jhh3 发布了名为 Shot Reader 的项目:微调 Qwen3-VL 8B,让模型真正"看懂"视频中的镜头语言——机位高度、镜头焦段、拍摄角度、运镜方式,以及画面中的人物站位与走位。
- 通用旗舰模型(即使是专门写 prompt 去逆向工程镜头的 Opus 5.5 和 Gemini 4)同时答对机位高度和运镜的概率不到一半;开源模型开箱即用仅 5%。
- Shot Reader 达到 69%,速度是 Opus 的 2.4 倍,成本低约 30 倍,小到可在自己的 GPU 上运行。
- 作者强调 Fable、Astra 这类模型只能逐帧检查而无法真正"看视频",这是其项目的切入点。
其价值主张:AI 已能写 Blender 脚本,而复现一个镜头的第一步是读懂它——看到镜头 → 得到拍摄方案 → 在 3D 中重建、重拍、混剪。项目开源。
「多模态」频道最新
- Reddit 用户用 Seedance 2 生成广告短片《Entrega Express》 — Ok-Nerve941 · 2026-11-20
- HeyGen 发布 Avatar 6,官方对比历代数字人真实感进步 — HeyGen · 2026-11-20
- 用户实测 Google Genie 新版:此前「淘金热」概念已惊艳 — AI_Andrew · 2026-11-20
- 「Johnny」:强模型生成德普风格人像质感惊艳 — egeberkina · 2026-11-20
- MBZUAI 发布 PAN 2 世界模型:29B 参数,连训练代码一并开源 — ZhitingHu · 2026-11-20
- Gemini 4 Neon 从零写出现代滑雪模拟器:1 万行代码零素材 — flngr · 2026-11-20