开源 DR Pixel 直接读页面图像做深度研究,27B 模型对标 GPT-5.4
sewon__min · x · 2026-11-04
Berkeley NLP 与 rtnldynamics 联合发布 DR Pixel,首个开源端到端多模态深度研究(deep research)agent:以渲染后的文档页面图像作为唯一的检索单元和推理单元,跳过 OCR 直接在页面上搜索与推理。
- 动机:科学论文的关键信息常在表格、图表、公式里,现有 DR agent 通常把文档压缩成 OCR 文本,丢失大量信息。
- 效果:在 106 万页语料上,未经训练的 page-native DR 就已超越基于 OCR 的基线(GPT-5.4、Gemini-3.5-Flash、Qwen3.6-27B 等均验证),且工具调用次数更少;训练后的 27B 模型达到 GPT-5.4 水平。
- 训练方法:针对 agentic SFT 教师轨迹噪声大的问题,提出 counterfactual credit reweighting——按每个推理/动作步骤对最终答案的反事实贡献做细粒度信用分配;训练使检索召回提升约 15 个点、最终准确率提升超 10 个点。
- 同时发布 DRPixelBench,一个要求跨文本、图表、公式推理的科学论文基准。论文:arXiv 2611.03097。
所属事件:伯克利等团队开源DR Pixel:直接读页面图像做深度研究(2 条相关)→
「编程与Agent」频道最新
- YC 孵化 Simantic:用仿真层让 AI 智能体按软件速度测试固件 — ycombinator · 2026-11-04
- 用 Microsoft Copilot Harness 搭 24 小时新闻台:关键在编辑流程而非提示词 — WirelessLife · 2026-11-04
- Polyphonic 将为 AI agent 配专属 Mac,引入开源 terminal-mac — RileyRalmuto · 2026-11-04
- 开发者用 Claude 逆向 ResMed CPAP 呼吸机固件,怒斥 Anthropic 分类器拦截救命项目 — ryunuck · 2026-11-04
- Salesforce 开源 Pronto 示例应用,演示 MCP 服务器暴露业务逻辑 — msrivastav13 · 2026-11-04
- Agent 跑 54 次过 35 次,95% 置信区间却宽达 44%–83%,该怎么报? — cneuralnetwork · 2026-11-04