MCP 返回 Parquet 句柄替代原始数据行,8k 行数据从 320 万 token 压到 1700

Daniel_Aperiodic · reddit · 2026-11-17

Aperiodic 创始人分享其 MCP 服务处理大数据集的实战方案:单只标的一个月 5 分钟级数据有 8000+ 行、35+ 列,转成 JSON 约 320 万 token,任何模型上下文都装不下。

他们的做法是让工具只返回轻量「句柄」:getdata 不返回数据本身,而是给出签名的 Parquet 下载链接(1 小时有效)、schema、行数、每列 min/max/null 统计(读自 Parquet footer)、5 行样例和一段 polars 加载代码,整个句柄约 1700 token。由 agent 写代码下载文件,模型从不直接看到数据行。

对于无法运行代码或访问外部 URL 的客户端,提供 summarize 工具在服务端做统计、相关矩阵或降采样到 500 点;search/fetch 则为兼容 ChatGPT connectors 的接口形态。作者坦承 Glama 工具定义评分只给 3.6/5(命名混用了动宾与裸动词),并公开求教:沙箱完全无法访问外部 URL 的客户端该怎么办?

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →