GIST 论文：语义引导的自适应图像分词器，低 token 下 LPIPS 降 30%
cgmsnoek · x · 2026-10-21
阿姆斯特丹大学 Danilo de Goede 等人发布论文 GIST（Guided Image Semantic Tokenizer），提出语义可控的自适应图像分词器（arXiv:2610.15515）。
- 问题：现有自适应分词器按像素级重建误差决定每张图需要多少 token，但像素误差对承载图像意义的空间结构不敏感，重度压缩时容易突然丢弃关键内容 token
- 方法：token 分配由像素级目标误差与语义目标误差联合控制，语义误差在冻结的 DINOv2/DINOv3 编码器特征空间中度量；将语义目标固定为零时，可放宽重建目标、丢弃像素细节同时保留图像语义
- 结果：在 ImageNet-100 受控对比中，GIST 在所有 token 数量下均优于像素控制的 KARL，LPIPS 最高低 30%、DreamSim 低 37%；降低语义目标比降低重建目标每 token 的 LPIPS 下降快 2 倍，低 token 场景下最高 5 倍
结论：语义保真度是比像素误差更有效的压缩控制信号。
「研究」频道最新
- 两个 AI 评委给同一批模型打分差 28 分,LLM-as-judge 可靠性遭质疑 — TibboPlayz · 2026-10-21
- CellType 发布 CT-Translate:临床前数据预测免疫治疗患者应答 — david_van_dijk · 2026-10-21
- 中科院团队提出 Slot-JEPA:以对象槽结构改进潜空间世界模型 — China666 · 2026-10-21
- Adobe 联合 KAIST 发布 VideoMaMa++:扩散模型实现长视频时序一致抠像 — adobe · 2026-10-21
- 用 Rust 开发玩具 LLM：Candle 还是 Burn？作者纠结框架选型 — Enderlook · 2026-10-21
- 给小模型配一张「地图」：Reddit 构想用外部知识库替代巨量参数 — FluidModeNetwork · 2026-10-21