Cohere Labs 技术讲座：区域化表示让长视频视觉计算量随内容而非像素扩展
Cohere_Labs · x · 2026-11-10
Cohere Labs 社区邀请 UIUC 博士生 Savya Khosla 做技术讲座《Scaling Visual Intelligence for High-Resolution and Long-Form Video》。
核心问题：机器人或可穿戴助手要“看完一整天视频”（如帮盲人找钥匙），现有视觉系统代价高得离谱——图像被切成固定 patch 网格后，分辨率翻倍 token 数翻四倍（即使新增像素是空白墙），每一帧又增加数百 token（即使与上一帧几乎相同）。
方案：基于区域的表示（region-based representations），把每个有意义的实体编码为单个跨帧持续的 token，使计算量随内容而非像素/帧数扩展。讲座面向 Cohere Labs 研究社区开放深度提问与讨论。
「多模态」频道最新
- 开发者用 Gemini 4 Carbon 纯代码生成整支 MV — zacharynado · 2026-11-11
- Adobe MAX 五大发布盘点：AI 正在成为助手而非艺术家 — rufusd · 2026-11-11
- AI 短片《Goldfish Mayhem》幕后：用 AI 重塑功夫与舞狮的粤语文化 — JunieLauX · 2026-11-11
- Gemini 4 Carbon 对比 Fable 5.2 与 GPT-6 Astra：像素风等距场景实测 — Angaisb_ · 2026-11-11
- pi-H3 实现 2-4 步视频生成：B200 上 10 秒 768p 视频仅 9.2 秒出片 — GordonWetzstein · 2026-11-11
- MiniMax H3 Image 上线 fal:开放权重图像模型,支持原生 4K 生成与编辑 — noahsolomon · 2026-11-11