苹果杜克提出 LensVLM：压缩文本成图后给模型一个“放大镜”，4.3 倍压缩保 68.9% 准确率
机器之心 · wechat · 2026-10-14
苹果基础大模型团队与杜克大学提出 LensVLM（NeurIPS 2026），解决上下文压缩的“单行道”问题：模型先浏览覆盖全文的压缩页面图像，再按需展开与问题相关的页面读取原文。
核心思路
- 文本渲染成图后所需视觉 token 可少于原文文本 token，字号/页高/密度即压缩率旋钮；但压得越狠字符越难辨认——基础模型直接读 5 倍压缩图像平均准确率仅 31.3%（完整文本参照 72.4%）。
- “放大镜”工具 readpage 对纯文本页面直接返回原文，需保留源内容；PDF 场景可展开为 OCR 文字或高清页面，MMLongBench-Doc 上高清页面展开变体 41.9% 优于 OCR 的 32.1%，对应 10.3 倍有效压缩。
训练方法
- 基于 Qwen3.5-9B-Base，先用 Qwen3.5-397B 生成工具使用轨迹做 SFT（31.3%→63.7%），再用 DAPO 强化学习以答案正确性为奖励优化到 68.9%。
- 七项评测（NQ、HotpotQA、MuSiQue、HELMET、RULER、Qasper、LongBench）：5 倍压缩下 68.9%，接近全文 72.4%；15 倍压缩下基础模型仅 18.1%，LensVLM 达 52.1%，有效压缩率 10.1 倍。
效率收益（32K–140K token、15 倍压缩）
- 页面预缓存后端到端延迟 3.62s→2.52s，较全文输入降约 30%；峰值 KV 缓存约为全文的 1/14；饱和并发吞吐约 3.7 倍，每千次请求 GPU 成本降约 73%。
- 短上下文仍以直接输入全文更快，优势集中在长文档与可复用页面图像的多次查询。
模型（apple/LensVLM-9B）、代码与 HuggingFace Demo 均已公开；HuggingFace 产品负责人转发后获约 28 万次浏览。
「模型」频道最新
- Perplexity 上线 Gemini 4 Argon,称刷新 WANDR 基准纪录 — AravSrinivas · 2026-10-16
- 开发者吐槽现行 DLP 全是正则方案，欲用 LLM NER 重做 — HankYeomans · 2026-10-16
- 爆料称 GLM 5.5 与 Kimi K3.1 即将发布,或与反蒸馏封锁有关 — zephyr_z9 · 2026-10-16
- 75 家企业真实工作基准:GPT-6 与 Claude 排名随任务反转 — BorisMPower · 2026-10-16
- Google 年付 Gemini AI Plus 用户遭中途降级,11月13日起失去 Pro 模型 — Ray_ProUser · 2026-10-16
- 夸一句就出图：小模型画鹈鹕骑车SVG画质飙升 — Fancy-Snow7 · 2026-10-16