Honeycomb用六张特征平面解决视频世界模型记忆膨胀难题
机器之心 · wechat · 2026-10-15
哈佛、MIT、NUS等机构团队提出 Honeycomb，为长时视频世界模型设计恒定大小的场景记忆 HexMemory。
- 核心思路：不逐帧追加点云或潜特征，而是把场景压缩进 XY/XZ/YZ 三张空间平面加 ZT/YT/XT 三张时空平面，通过"读取—生成—写回"循环持续更新同一块记忆，存储不随视频长度增长。
- 写入机制：前馈式写入器只处理新片段，按置信度图融合新旧信息；范围扩大时重映射平面边界而非扩容，写入时间稳定在约 13 毫秒，比逐场景优化快约 240 倍。
- 效果：WorldScore 闭环重访测试中闭环 PSNR 达 17.22dB（领先第二名 1.23dB），光流误差 3.00 像素（Spatia 为 6.64）；RealEstate10K 新视角合成三项指标均最优，WorldScore 平均分 65.52 高于 Spatia 与 LSMWorld。
- 可调折中：默认配置约 73.9MB，降到 256 分辨率仅 19.8MB 且质量几乎不变；局限是覆盖范围扩大后单位分辨率下降，且依赖深度估计与基础视频模型的准确性。
论文与代码均已公开。
「多模态」频道最新
- ElevenLabs 推出 Chimera：Eleven v4 语音加 Seedance 视频让角色开口说话 — AIwithGhotai · 2026-10-23
- 用开源模型+Claude 把一段网球视频变成世界级教练 — tweetsatpreet · 2026-10-23
- 伯克利 StyleStream 2.0：流式语音转换延迟降至 520ms 提速一倍 — Berkeley · 2026-10-23
- AuroraTTS-100K：不到 100K 参数的英文 TTS，INT8 仅 127KB — Tall_Abrocoma_3533 · 2026-10-23
- FreeMatching:把图像生成器改造成通用稠密对应匹配器 — kwangmoo_yi · 2026-10-23
- 用 Claude 技能自动剪辑视频,作者公开完整工作流 — jacob_posel · 2026-10-23