DocFS 把长文档收成文件系统,问答推理最快提速 10.3 倍

DocFS: File Systems as Agentic Reasoning Environments for Complex Multimodal Document Question Answering

Bingdian Zhang, Zixuan Li, Long Bai, Xiaolong Jin, Jiafeng Guo, Xueqi Cheng

cs.IR

2026-11-07

DocFS 把多模态长文档收成带索引和跨模态链接的文件系统,智能体靠搜索和读文件找证据。配 Qwen3.5-Plus,两个榜单比最强免训练基线高 2.9 和 4.3 个点,推理最快 10.3 倍。

这篇在解决什么

复杂多模态文档问答卡在证据散落。文档往往几十上百页,文字、图、表、公式按章节嵌套,正文再点名引用图表。智能体要答对,得先选定章节,再打开对应模态,并回到原页核对解析有没有错。

扁平做法把文档压成按页图像或片段,靠检索和翻页取证,层级和跨模态关系不能直接走。内容树、多粒度索引和页面图多半只服务于检索,取回的片段再塞进上下文。智能体没有跟结构对齐的通用操作。

文件系统两头都齐:嵌套目录就是章节,文件按类型放下文字和图表,ls、grep、read 不用另写。DocFS 把原始文档收成这个环境,工作出自中科院计算所。

方法

先解析,再修。解析器按页抽出文本、标题、图、表、公式,带上页码和框。不同级标题常被拍平,正文会被误标成标题,公式和表格也会认错。标题连同上下文交给大语言模型重排层级,误标的改回正文。公式和表格截取原区域,交给视觉语言模型核对 LaTeX 和 HTML。视觉语言模型能同时看图和读文字。

目录树照着修好的章节嵌套。正文进 Markdown,图存 JPG,表格同时留图像、CSV 和 HTML。根目录和每一节各放 index 与 relation。index 列出这一层的节和附件,是导航入口。relation 记下节与节、节与图表、模态之间的链接,找到一块证据后可以摸到互补材料。每张图再配一段文字描述,映射回原图,关键词才搜得到。描述只是入口,局部物体和精确数字仍要看截图。源 PDF 和页码对应关系留着,供最后核对。

工具四个,都是普通文件操作。readfile 读文本、图像,或按起止页读源 PDF。grep 按关键词搜,返回命中内容和路径。ls 列出当前目录。glob 按模式收齐某一类文件。

推理跟着工具走。智能体先读目录,按问题圈出相关章节,再用关键词做全局搜索,得到候选路径。然后打开这些文件,沿 relation 补上跨节、跨模态的材料。最后看原始截图和源 PDF 的对应页,把细部跟前面的文本证据合在一起作答。

结果

评测用 MMLongBench-Doc 和 FinRAGBench-V。前者是跨领域长文档,含无法作答的题,规则打分。后者版式密,由大模型当裁判。Qwen3.5-Plus 打开 thinking,回答前先写内部推理。DeepSeek-V4.1-Flash 不开。论文报告的同骨干最强基线,是复现的 DocLens。

方法指标结果
DocFS + Qwen3.5-PlusMMLongBench-Doc 准确率 / F171.6% / 70.0%
DocLens + Qwen3.5-Plus同上68.7% / 66.1%
DocFS + DeepSeek-V4.1-Flash同上69.7% / 67.5%
DocLens + DeepSeek-V4.1-Flash同上67.8% / 66.1%
DocFS,两个骨干FinRAGBench-V 准确率均为 82.3%
DocLens + Qwen / DeepSeekFinRAGBench-V 准确率78.0% / 74.4%

Qwen 相对同骨干 DocLens,MMLongBench-Doc 高 2.9 个准确率点、3.9 个 F1 点,FinRAGBench-V 高 4.3 个点。DeepSeek 高 1.9、1.4 和 7.9 个点。涨幅主要在图表和文本。Qwen 在 MMLongBench-Doc 上 chart 高 9.3、text 高 6.9、figure 高 2.9、table 高 2.1。FinRAGBench-V 的 chart,两个骨干高 12.1 和 6.3,DeepSeek 的 text 高 15.9。Qwen 也有回撤:版式题从 71.2 降到 68.4,无法作答题从 75.4 降到 73.7,FinRAGBench-V 的表格从 83.3 降到 79.9。

消融不均匀。Qwen 在 MMLongBench-Doc 上去掉 grep,准确率从 71.6 掉到 62.0,跌幅最大。Qwen 在该榜上去掉文件系统、预处理、index 与 relation、图像描述或 ls,准确率落在 66.3 到 66.9。FinRAGBench-V 上 Qwen 去掉 grep,从 82.3 掉到 74.0。DeepSeek 在 MMLongBench-Doc 上去掉预处理,从 69.7 掉到 58.7,跌 11.0 个点,去掉 grep 掉到 56.6。去掉图像描述后,Qwen 的 chart 和 figure 掉 11.3 和 7.3 个点,DeepSeek 掉 15.8 和 10.8 个点。

下面的耗时和 token 只算推理。解析和建库离线进行,墙钟受工具并发影响,没有放进表里。

设置DocLens 时间 / tokenDocFS 时间 / token加速 / 省 token
Qwen,MMLongBench-Doc359.9 秒 / 217.9K43.9 秒 / 142.9K8.2× / 1.5×
DeepSeek,MMLongBench-Doc76.8 秒 / 407.0K17.8 秒 / 180.9K4.3× / 2.3×
Qwen,FinRAGBench-V436.1 秒 / 602.4K52.7 秒 / 185.0K8.3× / 3.3×
DeepSeek,FinRAGBench-V189.9 秒 / 1555.9K18.4 秒 / 154.7K10.3× / 10.1×

DocFS 的推理 token 停在 140K 到 190K:Qwen 为 142.9K 与 185.0K,DeepSeek 为 180.9K 与 154.7K。DocLens 换到更密的 FinRAGBench-V,token 升到 2.8 倍和 3.8 倍。readfile 调用最多,grep 排第二,glob 几乎不用,ls 在 FinRAGBench-V 更多。结构说明和正文约占读取的一半,源 PDF 约占五分之一,图像描述最少。

一条轨迹把第 9 节的彩色架构图和第 10 节的数值表对上,读图得到蓝色对应 Conscientiousness。另一条第一次搜索落在没有 2019 列的资产负债表,再搜「2019」转到股东权益表,并核对 PDF 第 75 和 77 页。

为什么重要

能拿走的是环境设计。目录、index、relation、图像描述和源文件核对,都接在现成文件工具上。准确率多 1.9 到 7.9 个点,长文档榜靠近下限,金融榜靠近上限。拉开差距的是推理成本,文档越密越明显。版式题和一部分表格题没有一起变好。

局限与存疑

论文留下三件未做完的事:组织方式还要随文档和问题调整,跨模态关系缺少更强的交互,探索成本与可靠性的平衡也没有做。

跟 MACT、MDocAgent、SimpleDoc 和几种 RAG 的比较,用的是各家报告的最高分,骨干从较小的开源视觉模型到 GPT-4o、Gemini-2.5-Pro,条件不同。站得住的对照是复现的 DocLens。Qwen 开 thinking、DeepSeek 不开,两边都在 FinRAGBench-V 拿到 82.3%,这组打平不能当成方法抹平了模型差。金融榜由大模型打分,裁判误差没有单独报告。

效率表不含建库。正文写明,把文档处理的 token 加回去,四个设置里 DocFS 仍然更省,幅度 1.4 到 5.6 倍,明细在附录。层级重建和公式纠错还要再调一次语言模型和视觉语言模型,文档一长,这笔离线开销就上来。

DeepSeek 去掉预处理跌到 58.7,比去掉整个文件系统后的 64.4 更低。层级一旦修错,目录会把搜索带偏。glob 几乎不被调用,四个工具并不都在干活。

术语

原文与代码

社区讨论

相关论文

全部论文解读